自从1958年引入以来,集成电路或计算机芯片一直是人类的伟大成就之一。机器学习和ai是硅谷当前的热门词汇,但在实际应用中进展缓慢。
世界上最大的计算机芯片是一个解决方案,硅谷的cerebras希望这可能是一个理想的解决方法。晶片级引擎是一项工程壮举,是一张巨大的硅片。
它的预期用途是作为专用处理单元用于ai训练。目前的模型和使用cpu和gpu的传统方法可能需要几周时间,但wse承诺只需几分钟。
cerebras systems
cerebras systems是一家美国人工智能公司。
©michael vi/shutterstock.com
该公司位于加利福尼亚州桑尼维尔。自2015年成立以来,cerebras已经成功进行了多轮创业融资,其e轮融资于2019年结束。他们目前的估值为24亿美元,并且在日本和印度设有卫星设施,成为全球运营。
cerebras是人工智能的先锋,为机器学习和ai模型的培训开发专用机器。公司目前正准备在ai模型的培训方面取得重大突破,他们的超级计算机andromeda将16个巨大的计算机芯片结合在一起,实现极速运算。
晶片级引擎
世界上最大的计算机芯片是因为使用cpu和gpu训练ai模型的低效率而出现的。理论认为,这些硬件件是根据特定的用例构建的。因此,将它们重新用于机器学习是低效的。
晶片级引擎的功能类似于张量处理单元,或者是以ai为中心的集成电路。它是第二代产品,wse-2在一张8.5英寸的硅片上提供了85万个核心和2.6万亿个晶体管。
它主要通过数据并行化来进行计算。它利用数十万个核心上的多个并行流同时执行指令。内存吞吐量非常快,40gb的内置sram每秒传输速度为20 petabytes。
一块wse-2芯片能够训练多达200亿个参数,数量惊人,并且只需几分钟就能完成。它能够训练和构建比用例允许的更密集和更复杂的ai模型。cerebras的超级计算机andromeda将16块wse-2芯片合并为一个单元,使其并行运算能力成倍增加。
wse-2驱动cerebras cs-2,这是一台专门为人工智能设计的计算机。cs-2在提供更高性能的同时,比竞争对手的产品要小得多。
它用于什么?
晶片级引擎用于ai模型。这些不是普通用户可以在商用gpu或cpu上运行的简单模型。相反,wse在运行巨大的ai模型方面表现出色。
当前的ai模型参数平均为数亿个。一些异常值,如谷歌的一万亿参数模型的实现,需要大量资源进行训练。
wse的用例是加速这个过程。虽然存在专门用于ai模型的处理单元,但它们的吞吐量不及wse。tpu可能需要几天完成一项任务,而wse可能只需要几分钟来解决。这取决于模型的复杂性。
计算机芯片的简要历史
计算机芯片是一个小型电子电路。
©nimedia/shutterstock.com
集成电路(ic)最早由德克萨斯仪器公司的工程师杰克·基尔比(jack kilby)在1958年设计。一年前,基尔比提出了将半导体封装在一系列硅晶片中的单片结构的概念。
集成电路的概念曾由沃纳·雅各比(werner jacobi)提出。在国际上,对将其想法发展成为完全成熟的产品的兴趣不大。集成电路在引入后很快被空军采用。
军方迅速采用了这项新技术。11年后,计算机芯片也进入了阿波罗太空任务。菲尔奇尔德半导体公司在将基尔比的想法发展成更具实用性的东西方面起到了重要作用。
它将原始设计的锗晶片转移到了如今更高效的硅晶片上。集成电路革命性地改变了电子产品,使得晶体管和半导体能够被装载到越来越小的晶片上。
快进到今天,这项神奇的技术已经渗透到生活的方方面面。计算机芯片几乎存在于从智能手机到汽车的所有产品中。它们对未来的计算形式产生了重大影响。从原始的计算机庞大的安装到今天笔记本大小的现代计算机。
计算机芯片和ai建模
对于现代硬件来说,训练ai模型是一项困难的任务。有效的ai训练取决于几个不同的因素。因此,计算机芯片的高吞吐量是最关键的组成部分之一。高吞吐量是指芯片处理数据和传输数据的速度。
这加快了使用数据集和无数参数训练有效模型的任务。gpu在消费者和业余爱好者领域处理这个任务。但它们并不太适合这个任务。
在商业领域,可以使用云中的张量处理单元。这样可以将对专用硬件的需求降到最低,但它们仍然需要时间来处理多个任务和数据集以训练模型。
cerebras和wse是在同一领域运作,但由于整个系统集成到一个芯片组中,它能够以更高效的方式处理数字和进程。理想情况下,计算机芯片上有多个快速核心,可以进行并行处理,并利用多个数据流。
与gpu配合使用的企业级服务器cpu可以完成这项任务,但soc(片上系统)可以使这个过程更快。这部分要归功于减少的传输时间,即使是像wafer-silicon engine这样庞大的东西也是如此。
cerebras的下一步是什么?
cerebras仍在不断发展,并已获得多轮融资。制造商允许在多个行业使用andromeda。andromeda在医疗、能源、政府、金融服务和社交媒体领域得到应用。他们租用云支持的andromeda时间,对于那些希望增强其ai开发的人来说是一个巨大的福音。
cerebras最近开始与欧洲最重要的超级计算平台之一green ai cloud合作。wse2提供了一种替代品,可以取代像nvidia a100这样的主流gpu,使green ai cloud能够保持负碳足迹,同时让用户发挥其威力。