编辑:[db:作者] 时间:2024-08-25 02:22:13
这个装置看起来像一个 DIY 电子设备项目,而且不是特殊优雅。但这个不起眼的组件包含 32 个可变电阻器,可以像机器学习模型一样学习如何给数据排序。
虽然它目前的能力还不强,但它的开拓者希望这个原型可以成为图形处理器(GPU,graphics processing unit)的低功耗替代品,并用到机器学习中。
“每个电阻器都很大略,单独拿出来的话没什么意义。”他说,“但当你把它们放在一个网络中时,你就可以演习它们做各种各样的事情。”
图 | 这些由电阻组成的电路可以实行大略的机器学习分类任务。(来源:FELICE MACERA)
该电路可以实行一项分类任务:根据花瓣长度和宽度等属性对花朵进行分类。当给出这些花朵参数时,电路可以将它们分为三种鸢尾花。
这便是所谓的“线性”分类问题,由于如果我们将鸢尾花数据绘制在图表上,就可以(在大部分情形下)利用直线将数据清晰地划分为精确的种别。
在实际操作中,研究职员将花朵丈量值表示为电压,并将其作为输入放到电路中。然后,电路会产生一个输出电压,该输出电压对应着三种鸢尾花中的一种。
这是一种与 GPU 利用的方法完备不同的数据编码办法,GPU 将信息表示为二进制 1 和 0。在这个电路中,信息可以采取最大或最小电压,或介于两者之间的任何电压。该电路以 95% 的准确率对 120 朵鸢尾花进行了分类。
现在,该团队已经成功让电路实行了更繁芜的任务。在目前正在审稿的预印本论文中,研究职员已经证明它可以实行异或逻辑运算。该电路可以吸收两个二进制数并确定输入是否相同。
迪拉沃说,这是一项“非线性”分类任务,而“非线性是所有机器学习背后的秘方”。
其所实现的东西对付我们每天利用的电子设备来说轻而易举,但这不是重点,他和他的同事构建这个电路是为了探求更好的打算设计。
打算行业正在努力驱动更强大的机器,但前路充满寻衅。2012 年至 2018 年间,尖端人工智能模型所需的打算能力增加了 30 万倍。
现在,演习大型措辞模型所需的能量相称于 100 多个美国家庭的年能耗。因此,他希望他的设计能为构建更快的人工智能供应一种更节能的替代方法。
为了精确实行各种任务,电路须要演习,就像在传统打算芯片上运行的机器学习模型一样。例如,ChatGPT 在看到许多人类撰写的文本后学会了天生看起来像人类写的文本。
在看到标注了精确物种的花朵丈量值后,电路学会了预测哪些参数对应着哪种类型的鸢尾花。
这个设备的演习还要用到另一个相同的电路来“指示”第一个设备。两个电路的 32 个可变电阻器都以相同的电阻值开始。
迪拉沃从第一个电路从第二个电路吸收反馈,然后两个电路调度其电阻,使其收敛到相同的值。循环再次以新输入开始,直到电路的电阻稳定在一组产生精确输出的水平上。
实质上,该团队通过一种称为监督学习的方法来演习该设备,人工智能模型从标记数据中学习如何给没见过的数据打上标签,以实现预测。
他说,将电路中的电流想象成流过管道的水会有所帮助。掌握水流动的方程类似于掌握电子流动和电压的方程。电压对应流体压力,而电阻对应管道直径。
在演习过程中,网络中的不同“管道”会调度其在各个部分的直径,以实现所需的输出压力。事实上,其曾考虑过用水管而不是电子设备来构建电路。
他认为,电路的一个迷人方面是他所谓的“emergent learning”。
“对付人类而言,每个神经元都在做自己的事情。”他说,“然后作为一种新兴征象,你完成了学习。你会做出各种动作,学会骑自行车。”
电路也是如此。每个电阻器都根据大略的规则进行自我调节,但它们共同“找到”了更繁芜问题的答案,而无需任何明确指示。
迪拉沃的原型类似一种仿照打算机,它以连续的值而不是数字电路中的 1 和 0 来编码信息。
天下上第一台打算机是仿照的,但工程师开拓出了新的制造技能,可以将更多晶体管塞入数字芯片并提高速率。此后,数字打算机取代了它们。
不过,美国东北大学电气工程师阿特梅什什里瓦斯塔瓦(Aatmesh Shrivastava)表示,专家们早就知道随着打算能力的提高,仿照打算机比数字打算机具有更好的能源效率。
“能源效率上风是毋庸置疑的。”他说。然而,他补充说,仿照旗子暗记比数字旗子暗记的噪声大得多,这使得它们不适宜任何必要高精度的打算任务。
实际上,迪拉沃的电路在能源效率方面尚未超越数字芯片。他的团队估计,在他们的设计中,每个电阻利用大约 5 到 20 皮焦耳来产生单个输出,个中每个电阻代表神经网络中的一个参数。
其表示,这效率只有最前辈的人工智能芯片的十分之一。但他表示,仿照方法的前景在于扩大电路规模和增加电阻数量,从而提高打算能力。
他这样阐明潜在的节能效果:像 GPU 这样的数字芯片每次实行指令都会花费能量,因此制造一个每秒可以实行更多指令的芯片就意味着每秒花费的能量更多。
比较之下,他的仿照打算机的能耗取决于它运行的韶光。如果他们将打算机的速率提高一倍,它的能效也会提高一倍。
他的电路也是一种神经形态打算机,也便是说它受到大脑的启示。与其他神经形态方案一样,这里的电路不像传统打算机那样按照“自上而下”的指令运行。
相反,电阻器以自下而上的办法相应外部反馈来调度其电阻值,类似于神经元对刺激的反应办法。此外,该设备没有专用的内存组件。这也是另一个能源效率上风,由于传统打算机在处理器和内存之间传输数据会花费大量能量。
虽然研究职员已经基于不同的材料和设计构建了各种神经形态机器,但技能最成熟的设计是建立在半导体芯片上的。
一个例子是英特尔的神经形态打算机 Loihi 2,该公司于 2021 年开始向政府、学术和行业研究职员供应访问权限。
此外,澳大利亚西悉尼大学基于芯片的神经形态机器 DeepSouth 操持于 2024 年上线,旨在能够大规模仿照人脑的突触。
机器学习行业也对基于芯片的神经形态打算表现出了兴趣,美国旧金山的一家名为 Rain Neuromorphics 的初创公司于 2 月筹集了 2500 万美元。然而,研究职员仍旧没有找到一个商业运用处景,让神经形态打算明确显示其优于传统打算机的上风。
与此同时,像迪拉沃团队这样的研究职员正在提出推动该领域发展的新方案。一些业内人士对他的电路表示了兴趣。“人们最感兴趣的是能源效率。”他说。
但他们的设计仍处于原型阶段,其节能效果尚未得到证明。为了进行演示,该团队将电路放在面包板上,由于“这样最随意马虎操作,而且变动起来最快”,但这种形式存在各种效率低下的问题。
目前,他们正在印刷电路板上测试新设备以提高其能效,并操持扩大设计规模,使其能够实行更繁芜的任务。他们的聪明想法能否走出实验室,还有待不雅观察。
支持:Ren
排版:溪树
本站所发布的文字与图片素材为非商业目的改编或整理,版权归原作者所有,如侵权或涉及违法,请联系我们删除,如需转载请保留原文地址:http://www.baanla.com/rqz/78921.html
Copyright 2005-20203 www.baidu.com 版权所有 | 琼ICP备2023011765号-4 | 统计代码
声明:本站所有内容均只可用于学习参考,信息与图片素材来源于互联网,如内容侵权与违规,请与本站联系,将在三个工作日内处理,联系邮箱:123456789@qq.com