Press "Enter" to skip to content

上海交大校友研制新型光子神经网络,50万维向量下载到光学设备直接运行,一个乘法不到一个光子

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

“ 光子神经网络?一个乘法可以用不到一个光子? 起初我是不信的,也没有人做过类似的实验,但我们还是用很普通的器材做出了大家既没想到、又认为短期内无法实现的实验。”

 

日前,上海交大校友王天宇在 Nature Communications 发表了最新一作论文,并担任通讯作者。论文题为《每次乘法使用小于 1 个光子的光学神经网络》(An optical neural network using less than 1 photon per multiplication)。

 

 

图 | 王天宇(来源:王天宇)

 

这是一个光子神经网络的新成果,但不同于此前芯片类的光子神经网络,此次技术可直接接收图像。也不同于其他基于空间光学的光子神经网络,本次实验设计能直接接收自然光,并且无需相干光照明。

 

在该研究中,王天宇发现架构矩阵或向量维度可做到将近 50 万。在此情况下,要想通过理论预测的功耗极限,每个乘法运算只需要小于一个光子就能进行,这个能耗水平远远超越传统电子计算机的物理极限,可能有四五个数量及以上。

 

 

图 | 相关论文(来源: Nature Communications

 

研究中,王天宇的重点在于研究光学神经网络的能量极限和抗噪性,他认为进一步工程化改造的系统,能作为智能图像传感器、深度整合图像传感器和处理器。

 

这些传感器可用于超低延时图像处理比如识别图像和压缩图像,所需硬件数量可被降低几个数量级,具体应用包括自动驾驶、无人机和机器人等。

 

让能耗优势和速度优势随网络扩大而扩大

 

要想详细理解此次成果,就得先来聊聊光子神经网络。

 

近年来,该领域获得了长足发展,一方面源于光电硬件集成的成熟,另一方面光学系统的物理特性使得它十分适合计算大矩阵乘法,而这正是许多重要计算应用比如机器学习、优化问题和量子计算的基础。

 

相比传统电子深度学习加速器,光学神经网络的核心优势之一在于计算大矩阵乘法的速度,但在实现真正实用化前仍需克服许多工程问题,以达到足够低的能耗和足够高的精度。

 

 

(来源: Nature Communications

 

自 2017 年起,全球多个课题组都做出了贡献,包括毕业于 MIT 的沈亦晨和马林·索尔亚契奇(Marin Soljačić),后来他们创办了 Lightelligence 曦智科技。

 

另外还有同样毕业于 MIT 的尼古拉斯·哈里斯(Nicholas Harris)和德克·英格兰德(Dirk Englund),他们则创办了 Lightmatter。

 

加州大学洛杉矶分校的 Xing Lin 和艾多安·奥兹坎(Aydogan Ozcan)开创了衍射神经网络,澳洲斯威本科技大学的徐兴元和大卫·莫斯(David Moss)则首次达到了 GPU 的计算速度。

 

本次工作中,王天宇研究了光学神经网络走向实用化的一个重要课题:即如何实现极低的能耗极限,以及在此条件下的稳定性。

 

比起电信号,光信号的根本优势在于长距离通讯过程中的损耗很低,那幺光学信号的传输优势如何转化为计算优势?

 

其实,计算的本质是对比和总结大量不同的信息。当数据量很大时,信息在芯片里传输能耗,要远远高于信息处理的能耗,此问题在神经网络应用中尤其突出。

 

 

(来源: Nature Communications

 

说到这里王天宇打比方称,神经网络计算就像大家在一起开学术会议,每个人都有不同的信息碎片,不同的人聚在一起交流信息能产生不同的见解,一开始大家有各种见解,经过充分交流后,合理的观点渐渐变成主流,直至得出一个能简单概括事情全貌的结论。

 

在此过程中,每次信息交流并不需要很久,真正耗时的是把不同人在不同地方聚在一起开会。

 

正因此,当前主流 GPU 厂商和深度学习加速器厂商,都在致力于优化芯片的排线,以尽量减少数据的重复存储读写和来回倒腾,原因在于芯片电能消耗和走线长度成正比关系。

 

而让光作为信号载体,几乎能彻底避免该问题,因为光在短距离传输中基本是无损的,并能立马把同一信息传到成千上万个处理单元或者进行汇总,这会让能耗优势和速度优势随网络扩大而扩大。

 

那幺,上述两大优势的极限在哪里?为探索该问题,王天宇用简单器材做了一个极为精密的实验。

 

 

(来源: Nature Communications

 

达到 99% 的识别手写数字准确率

 

鉴于在计算机视觉应用中,神经网络的输入数据就是图像,所以他用 2D 图像编码向量对逐个像素进行调制,最后汇聚到探测器上。

 

要知道光学计算占总计算的比重 99.7%,而正是这个简单的装置,可以计算五十万维的向量乘法,且涵盖绝大多数神经网络中需要的计算。

 

实验中,王天宇用 Python 机器学习库 Pytorch 训练了一个神经网络,并下载到光学设备上运行,借此即可达到 99% 的识别手写数字准确率,这和电子计算机是一样的准确度。

 

训练过程中,根本无需考虑具体硬件细节,这说明光学神经网络具备很强的容错性。此外,他还发现当每个乘法用少于一个光子的时候,该网络仍能工作。

 

而且,光子数量越低,光信号噪声就越大,这意味着光子神经网络具备很强的抗噪声能力,而这正是神经网络作为计算模型的一个特点。

 

另一处让人惊讶的是,光子神经网络识别一个图像需要进行 9 万次乘法和 9 万次加法计算,但是总共所需的光能只相当于电子计算机一次乘法的能量。

 

虽然除了光能以外的总体能耗,在现阶段依旧不如纯电子处理器低,但是随着硬件的改进,有望将光学处理器总能耗,降低到比电子处理器低一个、甚至几个数量级。

 

事实上对于这一项目,王天宇一开始只是想弄明白光学处理器的根本优势。期间,他注意到 2019 年的一篇理论论文,里面论述了光子神经网络的物理能耗极限可大大低于电子计算,尤其是每次乘法的能耗甚至低于一个光子的能量 [2]。

 

他表示:“这个结论让人觉得不可思议,但是再仔细一看,我发现要做到这个能耗,需要用上千维的向量去乘矩阵,而现在大多数光子神经网络做指定计算时,一次只能处理几十维的向量,有些光子神经网络可以处理甚至百万维度的向量,但是这些向量不能人为任意指定,或者需要针对系统进行训练,这时就不能直接使用标准机器学习库(比如 Pytorch)训练的模型。”

 

至于一个乘法小于一个光子是怎幺回事?其实光子当然不可分割,这个是一个平均值的概念,因为有些乘法的乘数是零,所以平均值就能小于 1,这说明能耗可被降低到逼近物理极限的程度,甚至还可以继续降低。

 

 

(来源: Nature Communications

 

此外他还发现,光子神经网络本质上有很强的抗噪声能力,当减少光子神经网络运算功耗的同时,比如在每个乘法运算小于一个光子时,它的噪声非常大,但依旧可以稳定工作。

 

这一发现给实际应用提供了很好的启发: 即尽管因为硬件问题或环境噪声较多,但依旧能通过系统优化保持高性能信息处理能力。

 

这篇论文也给了王天宇更多信心,改变了他之前认为光子计算的新潮概念离落地比较远的想法。通过实验,他发现该技术具备一定可靠性,有潜力在短期内进行工程实践,并且实现产业化。下一阶段光子神经网络领域的趋势是集成化:运算能耗虽然能降到很低,但是运算芯片要做很大,这时尺寸缩小必须经过集成化,这依旧需要很多工程创新。

 

或将创业以推广面向图像领域的智能传感器

 

谈及曦智科技创始人沈亦辰的成果,王天宇表示沈博士的论文是该领域开山之作,他的工作让大家第一次认识到光子可用于神经网络计算,并且沈亦辰团队基于该技术做了一个原型机,还创办了公司将技术进行集成化和产业化,以专注于光子芯的研发。

 

“而我所研究的成果当然也在该领域之内,同时对他们技术研发和产品也很有帮助。在光子芯片的实用化上,人们关心的是到底能把芯片计算的能耗降低到多少,并且在低功耗情况下光子神经网络是否还能稳定工作?”王天宇说道。

 

因为光子神经网络最大卖点在于,它比传统电电子处理器速度快、并且能耗低。但如果光子芯片处理数据能达到一定速度和能耗,需要非常庞大的神经网络。

 

因此要想研发相关产品,集成化程度必须非常高。王天宇的研究目的,是想获悉理论上光子芯片的矩阵列到底可以做多大?以及低功耗极限能做到多低?

 

目前,曦智科技和其他公司,主要聚焦于光学 GPU,即通过光子芯片完成传统 GPU 器件的功能。但是王天宇做的研究有一定的区别,其发现在很多应用场景下,神经网络需要处理的对象就是图像,比如自动驾驶技术需要大量摄像头去识别图像,这些图像正是以光信号输入的。

 

所以,他要做的不只是一个处理器,更多是一个智能传感器,它能将传感器和处理器两个功能合二为一,这里可以理解为传感器里面有处理器,其好处在于整合了硬件,在降低整体能耗的同时,还能大大降低处理过程的延时。

 

 

(来源: Nature Communications

 

具体来说,自动驾驶、机器人、无人机等需要很快的反应速度的。例如,特斯拉曾报告该公司的计算机视觉硬件架构的延时极限在 150 毫秒左右,这个延时大小对于开车来说足矣。但在无人机场景,如此大的延时会极大影响无人机姿态调整的判断。而如果能把传感器和处理器进一步整合,即可减少光电转换和数模转化带来的延时。

 

“就光子神经网络来说,除了曦智科技的芯片集成化道路之外,还有另外一条道路——利用空间光和波长做光子神经网络,但是这个技术仍然和图像处理有关。不过,我们做的和过往技术路线并不一样。此前可能需要激光去照射物体,然后得到反射进行图像处理,而我们采用的是物体自身发出的光进行处理,不需要主动探测扫描,这和相机有一点相似。”他表示。

 

未来,王天宇打算结合传感器和光学处理器整合的器件,通过光学神经网络处理器和传感器做出可实时分析图像的智能器件,此外他还将研究架构在极低能耗下的表现。从另一角度看,这个智能传感器可以用神经网络进行实时图像处理,而光学模块就是神经网络模型中不可分割的一部份,不但能直接利用环境中的光源,而且承担了重要计算任务。

 

此外,关于创业的想法,他表示:“如果有可能创办实体企业的话,我觉得这项工作与曦智科技最大的不同是,曦智科技重点是做运算芯片,而我的工作重点 是面向图像领域的智能传感器,并能针对不同的应用场景进行图像处理。 事实上,光学处理这个领域很大,有很多的机会等待发掘。”

 

-End-

 

支持:张智

 

参考:

 

1、Wang, T., Ma, SY., Wright, L.G. et al. An optical neural network using less than 1 photon per multiplication. Nat Commun 13, 123 (2022). https://doi.org/10.1038/s41467-021-27774-8

 

2、R. Hamerly, et al. Physical Review X 9.2 (2019): 021032.

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注