文 |无言
硅谷科技巨头正在疯狂砸钱,建造规模堪比小型城市的数据中心。
这些设施专门用于AI训练,总投入高达数千亿美元。
我最初以为这就是AI发展的唯一捷径,直到看到约翰霍普金斯大学的研究成果,才发现自己的认知太片面。
他们的研究显示,采用类脑设计的AI系统,无需任何数据训练就能模拟人脑活动。
这项发表在《自然机器智能》上的成果,直接给当前的行业狂热泼了一盆冷水。
千亿基建背后的行业困局
这些数据中心的电力消耗大得惊人。
预计到2026年,其总耗电量将超过1000太瓦时,这个数字相当于日本全国一年的用电量。
ChatGPT的一次普通查询,就要耗费2.9瓦时的电量,差不多是普通搜索引擎的十倍。
更夸张的是,模型后训练阶段的算力消耗,能达到原始训练的三十倍。
认知科学助理教授米克・邦纳,精准点出了行业的怪象。
AI领域拼命堆数据、扩算力,人类却能凭借极少的数据完成学习。
谷歌在俄亥俄州的AI超算中心,微软的AzureAI专属数据中心,都是这场大基建的典型代表。
美国弗吉尼亚州的数中心集群,已经占到了全美用电量的十二分之一。
当地的电力供应,早就因为这些设施变得紧张。
这种模式在我看来,已经形成了无形的垄断壁垒。
中小企业根本扛不住高昂的算力和数据成本,只能被挡在AI创新的大门外。
全球的电力供应增长速度,远远赶不上AI算力消耗的攀升幅度。
这不仅是行业的问题,更可能影响到全球的能源格局。
行业的狂热还在持续,却很少有人停下来思考。
这种烧钱又烧电的模式,真的能带领AI走得更远吗?正是这种普遍的行业焦虑,让约翰霍普金斯大学的研究团队,把目光投向了另一个全新的方向。
他们没有跟风堆数据,而是选择从AI的底层架构入手,寻找突破的可能。
实验室里的颠覆性发现
研究团队把目标锁定在三种主流的神经网络架构上。
Transformer是大语言模型的核心,全连接网络是最基础的形式,卷积神经网络则模仿了人类的视觉皮层。
本来想通过简单的规模扩大来验证效果,后来发现团队的实验设计要巧妙得多。
他们反复调整这三种架构,创建出数十种不同的变体。
所有模型都保持初始状态,没有接受过任何训练。
研究人员向这些未经训练的模型,展示了物体、人物和动物的图像。
同时,他们记录下模型的内部活动模式。
这些模式被拿来,与人类和非人灵长类动物观看相同图像时的大脑反应做对比。
实验结果让所有人都感到意外。
扩大Transformer网络和全连接网络的神经元数量,几乎没有带来任何实质性的变化。
这两种架构的活动模式,依然和人脑相去甚远。
对卷积神经网络进行类似的调整,却让它的活动模式,显著接近了人脑的活动模式。
更让人震惊的是,这些未经训练的卷积模型,在某些任务上的性能,竟然能和传统AI系统相媲美。
传统系统通常需要接触数百万甚至数十亿张图像,才能达到类似的水平。
很显然,这个发现直接挑战了AI领域的主流信念。研究团队还发现了一个更深层的现象。
一千一百多个不同的神经网络,最终学到的权重,都会收敛到一个共享的十六维子空间。
这暗示着AI模型的学习过程,可能存在某种内在的约束。
而这种约束,或许正是来自架构本身。卷积神经网络的优势,并不是偶然的结果。
人类的视觉系统,采用的是层级化的信息处理方式。
初级视觉皮层先提取边缘、颜色等低级特征,然后逐层抽象,形成对物体的高级认知。
卷积网络正是模仿了这种层级结构,才具备了天然的优势。
这个发现,让整个行业开始重新审视AI的发展路径。
类脑设计指引的新方向
当前的AI行业,正面临着能源和成本的双重压力。
摩根士丹利的预测显示,生成式AI的电力需求,在未来几年内会大幅飙升。
约翰霍普金斯大学的研究,为行业提供了一条完全不同的道路。
邦纳表示,如果海量数据训练是关键因素,那么单靠架构修改,是无法构建出类似大脑的AI系统的。
这意味着,从正确的蓝图入手,结合生物学的其他见解,或许能显著加快AI系统的学习速度。
研究团队目前正在探索,受生物学启发的简单学习方法。
这些方法可能会催生新一代的深度学习框架。
英特尔的Loihi脉冲神经网络芯片,IBM的TrueNorth神经形态计算芯片,都是类脑AI的典型案例。
它们采用模仿大脑神经元的工作方式,实现了低功耗、高效率的AI计算。
这些成果让我看到了AI行业的另一种可能。
新一代的深度学习框架,能让AI系统的速度更快、效率更高。
它们对海量数据集的依赖性,也会大大降低。
这不仅能降低训练成本和能源消耗,还能为那些因数据不足而无法解决的问题,打开新的大门。
在我看来,这或许能打破科技巨头的垄断,让中小企业也能参与到AI创新中来。
低功耗的类脑AI系统,还能应用于移动设备、物联网设备等资源受限的场景,拓展AI的应用范围。
进化用了数亿年的时间,优化出了大脑的架构。或许,这才是AI真正应该学习的对象。
当硅谷还在砸钱建造数据中心的时候,答案可能早就写在了生物学的教科书里。
毫无疑问,类脑设计的发展方向,会让AI行业变得更加多元、更加可持续。
而那些真正致力于底层架构创新的团队,也终将在行业的变革中,占据属于自己的一席之地。