大型芯片将打破深度学习的速度壁垒
admin
2021-01-27 00:53:14
0

大型芯片将打破深度学习的速度壁垒

━━━━

Cerebras公司的技术将在数小时而非数周的时间里完成对这些人工智能系统的训练。

人工智能计算机初创企业Cerebras Systems的联合创始人兼首席执行官安德鲁•费尔德曼(Andrew Feldman)表示,今天的人工智能效率远低于它本应能达到的效率。

他和公司的其他联合创始人一致认为,如今的人工神经网络在训练上太过耗时,计算量太大。比如说,要让一辆自动驾驶汽车识别出它在路上会遇到的所有重要物体,则需要向汽车的神经网络展示大量有关这些物体的图像。这个过程发生在数据中心,耗电数十千瓦有时甚至数百千瓦的计算机会专门处理这种常常耗时长达数周的任务。假如生成的网络能够以所需精确度执行这项任务,则定义网络连接强度的多个系数随后会被下载到汽车的计算机中,然后去执行另一半深度学习工作,即推理。

Cerebras的客户(该公司已经有一些客户了,不过在去年夏天还在保密状态)抱怨说,在当今的计算机上进行大型神经网络训练可能需要长达6周的时间。以这样的速度,他们一年可能只能训练6个神经网络。“我们的目的是测试更多的想法,”费尔德曼说,“如果你能在2到3个小时内(训练1个网络),那么你就可以运行数千个想法。”

记者参观Cerebras公司位于加州洛思阿图斯(Los Altos)的总部时,这些客户和部分潜在新客户已经在用有橙色护套的光缆将他们的训练数据导入4台CS-1计算机中。这些64厘米高、功率为20千瓦的机器不停地运转,产生的热量通过墙上的一个孔洞被排放到了硅谷的街道上。

从外观来说,CS-1计算机本身并不特别。实际上,每个机箱的3/4都被冷却系统占据,而另外1/4空间中的内容才具有真正的“变革性”:一台非常强大的计算机几乎完全由一块单一芯片组成。不过这块芯片的面积超过46255平方毫米,是任何市售处理器芯片面积的50多倍。借助1.2万亿个晶体管、40万个处理器内核、18千兆字节的静态随机存储器(SRAM)以及每秒可移动100千万亿字节的互连技术,Cerebras的晶圆级引擎(WSE)可轻松秒杀其他系统。

相关内容