神经网络可以说是 AI 热潮中最璀璨的一颗明珠,它可以处理大量的数据,也可以识别语音或者图像,而且都可以达到几乎完美的精度。
但目前神经网络的问题在于:这种基于人脑结构的网络模型是构建在软件而非硬件上的,而软件在传统的计算机芯片上运行。换句话说,相对缓慢的传统硬件架构限制了神经网络的发挥。
图丨笔迹数据集
而 IBM 研究表明,将神经网络的关键部分直接构建在硅晶体上可以将效率提升百倍。这种直接将神经网络包含在硬件上的芯片在未来几年或将极大促进机器学习的发展。
与写在软件里的神经网络类似,IBM 芯片亦是模仿生物大脑中连接各个神经元的突触,通过调节突触连接的强度来让神经网络进行学习。在生物大脑中,神经元间的连接会随着时间生长或消亡,这正是学习的过程。这个过程很容易在软件中实现,但难以在硬件中实现。而 IBM 芯片的出现改变了这一现状。
在《自然》杂志发表的一篇研究论文中,IBM 研究人员展示了微电子突触。他们的研究灵感来自神经科学,通过使用长期和短期两种突触,长期突触用于记忆,短期突触用于计算。美国科学和技术研究院的研究员 Michael Schneider 目前从事受神经科学启发的计算机硬件的研究。他说这种双类突触的方法解决了一些在硅晶体中构建神经网络的关键问题,其中最值得注意的是精度过低的问题,正是这些问题过去耗费了研究者们大量的时间和精力。
研究人员测试了用两个简单的图像识别任务来构建的神经网络,一个是手写文字识别,另一个是彩色图片分类。测试结果表明硬件神经网络的精度与软件神经网络相当,但其耗能仅为软件神经网络的百分之一。
这项研究发现的意义并不只在 AI 技术而已。如果这项研究最终能用于生产,意味 IBM 下对了赌注。尽管目前 IBM 不销售计算机芯片,但他们一直在投资研究计算机硬件,试图发明出全新微电子元件,并推动公司进一步的发展。这项神经网络的新技术或许就是第一步,它使机器学习更加高效,并且更易于部署在智能手机等小型设备上。
Schneider 表示:“能耗有一百倍的优化,对于全连接层的训练速度也快一百倍,这样的目标当然值得进一步的努力。”然而,并非每个人都买这项研究发现的账。斯坦福大学计算机体系结构研究员 Kwabena Boahen 说,这项研究让他想起一种名为“忆阻器”的可调式晶体管,这种晶体管有点类似于突触,曾几何时也有铺天盖地的宣传和热度,然而十多年来这项技术却无甚发展。
IBM 芯片的设计相对笨重,它由五个晶体管和三个其他组件组成,如果是普通芯片就只会有一个晶体管。另外,迄今为止该系统的某些部分仅进行了仿真测试,IBM 仍然需要制作一个完整的芯片并进行实际测试才行。虽然有一些问题亟待解决,但对于实现“AI 芯片计算机”来说,这项研究仍然可能是重要的一步,也是受生物学启发的一步。
编辑:火爆麻雀 校审:XHR
参考:https://www.technologyreview.com/s/611390/ai-could-get-100-times-more-energy-efficient-with-ibms-new-artificial-synapses/