Clarifai新推理引擎：让东谈主工智能模子速率培植、老本镌汰

　　东谈主工智能平台Clarifai（Clarifai）于周四布告推出一款新式推理引擎。该公司称，这款引擎能让东谈主工智能模子的开动速率培植一倍，同期老本镌汰 40%。该系统蓄意上可适配多种模子及云主机，通过一系列优化技能，在交流硬件要求下开释更强的推理才能。

　　“咱们接纳了多种不同类型的优化技艺，从底层的 CUDA 内核优化，到先进的投契性解码技艺，方方面面皆有隐敝，” Clarifai首席实施官马修・蔡勒（Matthew Zeiler）示意，“本色上，等于能让同款显卡发扬更大性能。”

　　第三方公司 Artificial Analysis 通过一系列基准测考试证了上述服从，测试数据露馅，该推理引擎在蒙眬量和延长两项目的上均创下行业最好记载。

　　该推理引擎的优化重点聚焦于 “推理阶段”—— 即开动已完成老师的东谈主工智能模子时所需的计算经过。跟着智能体模子（agentic model）和推理模子的兴起，这一阶段的计算负载变得尤为贫寒：这类模子仅反馈一个请示就需实施多步运算。

　　Clarifai当先以计算机视觉干事起家，跟着东谈主工智能上涨大幅推高对图形责罚器（GPU）及承载 GPU 的数据中心的需求，该公司徐徐将要点转向计算编排范畴。前年 12 月，Clarifai在亚马逊云科技（AWS）re：Invent 大会上初次公布了其计算平台，而这次推出的新推理引擎，是该公司首款专诚针对多法子智能体模子打造的产物。

　　这款产物推出之际，东谈主工智能基础设施范畴正濒临庞杂压力，这一压力也催生了一系列价值数十亿好意思元的交游。举例，OpenAI 已制定策动，拟干与高达 1 万亿好意思元用于新建数据中心，其瞻望将来对计算资源的需求险些是无尽的。不外，尽管现时硬件开导力度庞杂，Clarifai首席实施官仍合计，在优化现存基础设施方面，还有更多责任可作念。

　　“像Clarifai推理引擎这么的软件技艺，不错让优秀模子的性能更进一步，” 蔡勒示意，“此外，算法改换也有助于缓解对千兆瓦级数据中心的需求。而况我合计，算法翻新尚未达到额外。”

海量资讯、精确解读，尽在新浪财经APP

包袱剪辑：郭明煜