2024年10月8日，国庆节休假后第一天，2024年的诺贝尔物理学奖颁给了两位东谈主工智能学者，约翰·霍普菲尔德(John Hopfield)和杰弗里·辛顿(Geoffrey Hinton)，因为他们通过东谈主工神经收罗对机器学习方面造成的奠基性孝敬。我敬佩这成果让大大量物理学家大失所望，毕竟物理学方面的建立也不少。自1901岁首度受奖启动，往届的物理学奖也从未给过其它专科的科学家，倒是反过来的有，比如居里夫东谈主麻豆，1911年因发现元素钋（Polonium，对她诞生国波兰的挂念）和镭获取诺贝尔化学奖，成为第一个两获诺贝尔奖的东谈主。
图片麻豆
图1: 约翰·霍普菲尔德（左）和杰弗里·辛顿（右）（图来自收罗）
不外，约翰·霍普菲尔德和杰弗里·辛顿获取诺贝尔物理学奖，推断让东谈主工智能学者也雷同大吃一惊。毕竟东谈主工智能界的最高奖频繁是图灵奖，是为挂念东谈主工智能图灵所设。辛顿在2018年和他两学生Yoshua Bengio， Yann LeCun（杨立昆，中译名）因对深度学习的孝敬获取图灵奖，推断也曾高慢了，没预料还有大奖在背面。而另一让东谈主工智能学者吃惊的可能是，为啥霍普菲尔德能拿诺奖。从1936年图灵淡薄想模拟东谈主类智能的图灵机启动，超过的东谈主工智能学者成千上万，为啥霍普菲尔德玩忽胜出呢？底下以我个东谈主的融会，来轻视聊聊两位东谈主工智能科学家的孝敬。
图片
图2: 2018年图灵奖获取者
辛顿是众人熟练的，他的成名作是与Rumelhart以及Williams于1986年在《Nature》上发表的舛错反向传播算法。该算法让神经收罗资格第一波隆冬后，再行走向东谈主工智能的舞台。尽管该算法在数学界很早就有连络的接头，但应用于神经收罗则是从1986年启动。仅仅，反向传播算法激发的雀跃，在1995年控制很快又被统计机器学习盖夙昔，因为后者在其时既有严格的表面保证，也有比其时的神经收罗更为出色的性能。成果，有快要20年的时辰，东谈主工智能的主流接头者王人在统计机器学习方面深耕。即使2006年辛顿在《Science》上初度淡薄深度学习的观点，学者们仍然满腹疑云，跟进的未几。
直到2012年，辛顿带着他的学生Alex在李飞飞构建的ImageNet图像大数据上，用淡薄的Alex收罗将识别性能比前一届一次性提高快要10个百分点，这才让大部分的东谈主工智能学者着实转向深度学习，因为以之前每届用统计机器学习身手较上一届升迁性能的速率推断，此次的提高需要用20多年时辰。
自此以后，东谈主工智能启动敬佩，大数据、算力、深度模子，是走向通用东谈主工智能的关节三因素。科学家们预料了多样种种的风景来增广数据，从对图像本人的旋转、平移、变形来生成数据、运用生成造反网来生成、运用扩散模子来生成；从东谈主工标注到半东谈主工到全自动机器标注。而对算力的渴慕也促进了GPU显卡性能的快速升迁，因为它是极为绵薄并行斟酌的。但它也导致了对我国东谈主工智能接头的卡脖子，因为现在真实绝大大量学者和东谈主工智能连络企业王人以为硬件是对大数据学习的中枢保险。深度模子的发展也从最早的卷积神经收罗，资格了多少次的迭代，如递归神经收罗、吊唁时追念收罗、生成造反网、鼎新器（Transformer）、扩散模子，到基于Transformer发展而来的预历练生成式鼎新器(GPT)，以及多样GPT的变体。
回偏执来看，这些接头与辛顿在东谈主工智能畛域、尤其是东谈主工神经收罗方面的坚握是密不成分的。
固然，辛顿的坚握并不料味着他只认定一个所在。施行上，他对东谈主工智能真义的探索一直是有滚动的。牢记某年神经信息经管顶会（NIPS，Neural Information Processing Systems）会议曾作念过一个搞笑视频，泄漏辛顿对大脑怎么责任的融会，从1983年的玻尔兹曼机、到86年的反向传播、到对比散度、再到06年的深度学习，资格过屡次的变迁。若是用机器学习的表述来融会辛顿的不雅点，不错说依某个小于1（1默示详情，0默示申辩）的概率缔造。
再说说霍普菲尔德。他的主要孝敬是1982年淡薄的Hopfield收罗，若是从发表的时辰节点来看，其时莫得反向传播算法，这个收罗的初期版块当然是无法通过舛错反向来调优的。
但这个收罗其时发表在PNAS期刊上，著作的标题里有一个与物理连络的单词“Physical Systems”。收罗的主要目的是，若是按物理学讲的能量函数最小化来构造收罗，这个收罗一定会有多少最终会随能量波动踏实到最小能量函数的现象点，而这些点能匡助收罗造成追念。同期，通过学习神经元之间的集会权值和让收罗进行责任现象，该收罗又具备一定的学习追念和期许回忆智力。
另一个与物理连络的是，构造该收罗的设想念念路模拟了电路结构，假设收罗每个单位均由运算放大器和电容电阻构成，而每一个单位等于一个神经元。
不外，这个收罗从其时看，照旧存在诸多不及的。比如只可找到局部最小值。但更严重的问题是：
骚波妹影视尽管从神经生理学角度来看，这个收罗的追念能对应于原型说，每个神经元不错当作是一个具有某个固定追念的闹翻吸前言(Discrete Attractor)，但它的追念是有限的，且不具备致密的几何或拓扑结构。
图片
图3：Hopfield收罗结构图，1982。圆形节点代表可造成追念的神经元，相互集会的线反馈了神经元之间连络的权重。
图片
图4: Kohonen收罗，1989
是以，便有了许多在此基础上的新身手的淡薄。比如1989年的Kohonen收罗在设想时就假设有一张网来与数据云进行匹配，通过算法的迭代最终不错将收罗圆善地拟合到数据上，而网上的每个节点便不错以为是一个追念元，或闹翻吸前言。这么的收罗有更好的拓扑或几何表征。
另外，对于东谈主的追念是不是应该是闹翻吸前言，于今也莫得斥逐的谜底，比如2000年控制就有一系列的流形学习著作发表（Manifold learning）。这些著作在神经生理学方面的一个进军假设是，东谈主的追念可能是以连合吸前言状貌存在的。比如一个东谈主不同角度的脸，在大脑追念时，吸前言可能是一条弧线的状貌，或者曲面、或者更高维度的超曲面。东谈主在收复不同角度的东谈主脸时，不错在曲面上解放滑动来生成，从而终了更有用的追念。在此理念下，仅谈判闹翻吸前言的Hopfield收罗及其变体，当然就少了许多跟进的接头者。
固然，流形学习的接头施行上后期也停顿了，因为这方面的变现智力不彊。
跟着深度学习的兴起，众人发现通过提高数据量、加强算力建立、扩大深度模子的范畴，足以保证深度学习能终了好的瞻望性能，而瞻望性能才是保证东谈主工智能落地的关节因素。至于是否一定要与大脑建立某种关联性，是否一定要有好的可解说性，在面前阶段并不是东谈主工智能谈判的要点。
也许，等现存的大模子出现雷同斟酌机一样的摩尔定律时，东谈主工智能会总结到寻找和建立与大脑更为一致、愈加节能、愈加智能的表面和模子上。
再回到东谈主工智能与诺奖的关系。从本年诺贝尔物理学奖的得奖情况，和东谈主工智能比年来对真实全学科、通盘畛域的融入经由来看，也许，改日学好东谈主工智能，很有可能会比圮绝东谈主工智能的东谈主，能更有用的责任、生存、造成新的进军发现，致使争夺各个所在的诺贝尔奖。
张军平写于2024年10月8日晚
图片
本站仅提供存储做事，通盘内容均由用户发布，如发现存害或侵权内容，请点击举报。