摘要：
... 人工智能平台Clarifai（Clarifai）于周四宣布推出一款新型推理引擎。该公司称，这款引擎能让人工智能模型的运行速度提升一倍，同时成本降低 40%。该系统设计上可适配多种模型及云主机，通过一系列优化手段，在相同硬件条件下释放更强的推理能力。
“我们采用了多种不同类型的优化技术，从底层的 CUDA 内核优化，到先进的投机性解码技术，方方面面都有覆盖，” Clarifai首席执行官马修・蔡勒（Matthew Zeiler）表示，“本质上，就是能让同款显卡发挥更大性能。”
第三方公司 Artificial Analysis 通过一系列基准测试验证了上述成果，测试数据显示，该推理引擎在吞吐量和延迟两项指标上均创下行业最佳纪录。
该推理引擎的优化重点聚焦于 “推理阶段”—— 即运行已完成训练的人工智能模型时所需的计算过程。随着智能体模型（agentic model）和推理模型的兴起，这一阶段的计算负载变得尤为繁重：这类模型仅响应一个指令就需执行多步运算。
Clarifai最初以计算机视觉服务起家，随着人工智能热潮大幅推高对图形处理器（GPU）及承载 GPU 的数据中心的需求，该公司逐渐将重心转向计算编排领域。去年 12 月，Clarifai在云科技（AWS）re：Invent 大会上首次公布了其计算平台，而此次推出的新推理引擎，是该公司首款专门针对多步骤智能体模型打造的产品。
这款产品推出之际，人工智能基础设施领域正面临巨大压力，这一压力也催生了一系列价值数十亿美元的交易。例如，OpenAI 已制定计划，拟投入高达 1 万亿美元用于新建数据中心，其预测未来对计算资源的需求几乎是无限的。不过，尽管当前硬件建设力度巨大，Clarifai首席执行官仍认为，在优化现有基础设施方面，还有更多工作可做。
“像Clarifai推理引擎这样的软件技术，可以让优秀模型的性能更进一步，” 蔡勒表示，“此外，算法改进也有助于缓解对千兆瓦级数据中心的需求。而且我认为，算法创新尚未达到终点。”
