炼数成金 门户 商业智能 人工智能 查看内容

AI教父Hinton:AI 系统将走向无监督,我们需要真正理解大脑

2019-5-13 10:20| 发布者: 炼数成金_小数| 查看: 14112| 评论: 0|来自: 新智元

摘要: 最新一届图灵奖得主、多伦多大学教授兼谷歌大脑高级研究员 Geoffrey Hinton 今天在谷歌 I/O 开发者大会的炉边聊天上发表了演讲。Hinton 讨论了神经网络的起源 —— 模拟生物神经元的数学函数层,以及 AI 有朝一日能 ...

网络 工具 模型 机器学习 神经网络

一届图灵奖得主、多伦多大学教授兼谷歌大脑高级研究员 Geoffrey Hinton 今天在谷歌 I/O 开发者大会的炉边聊天上发表了演讲。

Hinton 讨论了神经网络的起源 —— 模拟生物神经元的数学函数层,以及 AI 有朝一日能够像人类一样进行推理的可行性和意义。

Hinton 被称为 “人工智能教父”。过去 30 年里,Hinton 一直致力于解决 AI 面临的一些较大的挑战。除了在机器学习方面的开创性工作,Hinton 还撰写 (或与他人合作撰写) 了 200 多篇 AI 论文,包括 1986 年发表的一篇开创性的机器学习技术论文 —— 反向传播。

Hinton 推广了深度神经网络这一概念,即以反向传播为基础的 AI 模型,其中包含相互连接的层,传输 “信号” 并调整连接的突触强度 (权重)。通过这种方式,神经网络可以从输入数据中提取特征,并学会做出预测。

你只需要注意力机制!深度神经网络优化始于Transformers
深度神经网络得到大幅优化是在两年前,谷歌的研究人员发表一篇名为 “Attention Is all You Need” 的论文,提出名为 Transformers 的神经网络架构。

Transformers 抛弃了传统的 RNN/CNN 结构,从自然语言本身的特性出发,实现了完全基于注意力机制的 Transformer 机器翻译网络架构。

得益于动态计算权重的注意力机制,Transformers 在语言翻译任务中胜过了此前较先进的模型,同时大幅减少了训练所需的计算量。

Hinton 承认,创新的速度甚至让他自己都感到惊讶。他说:“2012 年时,我没有想到仅仅 5 年之后,我们就能够使用相同的技术在多种语言之间进行翻译。”

尽管如此,Hinton 认为目前的 AI 和机器学习方法仍然存在局限性。他指出,大多数计算机视觉模型缺少反馈机制 —— 也就是说,它们不会尝试从更高层次的表示中重建数据。相反,它们试图通过改变权重来区别性地学习特性。

Hinton 说:“它们并没有在每一层的特征检测器上检查是否能够重建下面的数据。”

AI系统主要是无监督的,Hinton团队转向人类大脑启发
Hinton 和同事们最近开始转向人类视觉皮层寻找启发。Hinton 说,人类的视觉采用一种重建的方法来学习,事实证明,计算机视觉系统中的重建技术增强了它们抵抗对抗性攻击的能力。

“脑科学家们都同意这样的观点,即如果你的大脑皮层有两个区域处于感知通路 (perceptual pathway) 中,并且一个区域与另一个区域之间存在连接,那么总会有一个反向的通路。”Hinton 说。

需要说明的是,Hinton 认为神经科学家可以从 AI 研究人员那里学到很多东西。他认为未来的 AI 系统将主要是无监督的。无监督学习是机器学习的一个分支,可以从未标记、未分类的测试数据中提取知识 —— 在学习共性和对共性是否存在做出反应的能力方面,无监督学习的能力几乎达到人类水平。

Hinton 说:“如果你采用一个拥有数十亿参数的系统,对某个目标函数执行随机梯度下降,它的效果会比你想象的好得多…… 规模越大,效果越好。”

“这使得一种说法变得更加合理,即大脑计算某些目标函数的梯度,并根据梯度更新突触的强度。我们只需要弄清楚它是如何得到梯度的,以及目标函数是什么。”

这甚至可能解开梦的奥秘。“为什么我们根本不记得我们做过的梦呢?”Hinton 反问道。

他认为这可能与 “忘却”(unlearning) 有关,他在与人合著的一篇关于玻尔兹曼机的论文中解释了这一理论。玻尔兹曼机是由对称连接的、类似神经元的单元组成的网络,可以随机决定是 “on” 还是 “off”。Hinton 说,“它们发现…… 观察到的数据不那么令人惊讶”。

Hinton 说:“梦的意义可能在于,你把整个学习过程颠倒过来了。”

未来需要真正理解大脑的运作方式
Hinton 相信,这些知识可以改变许多领域,比如教育。例如,他预计教学课程将考虑人类生物化学,因此会更加个性化,更具针对性。

他说:“人们可能会认为,如果我们真正理解了大脑,我们应该能够改善教育等方面的状况,我认为这是会实现的。”

“如果我们最终能够了解大脑中正在发生什么,大脑是如何学习的,就能适应环境,从而更好地学习。”

但他也警告说,这一切都需要时间。就近期而言,Hinton 设想了智能助理的未来 —— 比如 Google Assistant 或亚马逊的 Alexa—— 它们可以与用户互动,并在日常生活中为用户提供引导。

Hinton 总结说:“再过几年,我不确定我们会学到多少东西。但如果你仔细观察,你会发现智能助理现在已经相当聪明了。一旦 AI 助理能够真正理解对话,它们就能和孩子们真正地交谈,并提供教育。”

参考链接:
https://venturebeat.com/2019/05/09/geoffrey-hinton-discusses-how-ai-might-inform-our-understanding-of-the-brain/

声明:本文版权归原作者所有,文章收集于网络,为传播信息而发,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括:各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-7-16 07:55 , Processed in 0.161812 second(s), 25 queries .