比 英伟达 快20倍！哈佛辍学生发布大模型芯片

你还记得加密货币的矿机吗？2013年，专为比特币挖矿而设计的ASIC芯片问世，与之前占主导地位的CPU和GPU相比，ASIC的挖矿效率实现了质的飞跃，革命性地改变比特币挖矿格局。

而近日，一家叫做Etched的硅谷初创公司凭借其用于AI的ASIC芯片，从最底层的架构层面为主流AI大模型公司所采用的Transformer计算提供更优性价比的选择，在AI硬件领域掀起了波澜。

Etched由哈佛辍学生Gavin Uberti和Chris Zhu于2022 年创立，他们开发了一款名为Sohu的专为Transformer模型设计ASIC芯片。

Etched声称，Sohu芯片推理Llama-3 70B的速度比英伟达的H100快20倍，而功耗却大大降低。

Etched刚刚获得了1.2亿美元的新融资，由 Primary Venture Partners 和 Positive Sum Ventures 领投，Peter Thiel、Github首席执行官Thomas Dohmke和前Coinbase首席技术官Balaji Srinivasan等知名投资者也参与了本轮融资。

随着Transformer模型不断推动生成式AI突破，Sohu芯片被认为有望在AI推理侧打破英伟达GPU一家独大的格局，重塑AI计算的格局。

专用于Transformer

GPU中包含多种运算单元，如FP64、FP32、INT、TensorCore等结构。处理任意CUDA代码需要复杂的编译器，芯片开发商往往需要在软件开发上投入了超过数十亿美元的成本，但成效有限。

而Etched则缩小了焦点。通过专用于运行Transformers，Etched可以简化软件开发，并侧重TensorCore，针对性地提升AI运算能力。

由于大多数AI公司使用特定的Transformer推理库，如TensorRT-LLM、vLLM或HuggingFace的TGI，这些框架足以满足大多数需求。

而文本、图像或视频等不同应用中的Transformer模型基本相似，这使得客户可以在不改变核心模型代码的情况下调整模型超参数。

顶尖AI公司通常需要定制解决方案，聘请工程师对GPU内核进行精心优化。而Etched通过开放从驱动程序到内核的整个软件栈，消除逆向工程的需要。这种开放性允许工程师根据需要实施定制Transformer层，提高了灵活性。

此外，Sohu芯片减少了用于存储器的空间，而将更多空间用于计算用途的晶体管，并通过只有一个大内核的设计，减少了用来协调不同内核的低效计算。

不过，如果迅速出现替代Transformer的新算法，则Sohu芯片将失去价值。“我们正在人工智能领域下最大的赌注，”Gavin Uberti在接受采访时说。”如果Transformer消失了，我们就会死。但如果它们继续存在，我们就是有史以来最大的公司。”