云FinOps助力企业管控生成式AI成本,应对代币成本激增难题
云FinOps助力企业管控生成式AI成本
云FinOps可助力企业借鉴控制云支出的方法,明智地管控生成式AI成本。每隔几年,就会有新技术出现,宣称将彻底改变业务模式。企业往往不考虑成本就投入其中,这种情况已持续30年。云计算之后,如今轮到生成式AI,费用账单来得比预期快。最新数据显示,许多企业的AI代币成本比最初预估高出10到20倍,这是战略误判,CFO们已开始不满。
危机可预见,重拾云FinOps方法
这场危机其实可以预见,在云计算领域就有类似经历和教训。好在企业开始运用经验,重拾云FinOps方法应对新的支出挑战。
50倍难题:AI智能体资源消耗大
高盛估计,AI智能体执行每项任务所消耗的计算能力约为传统基于提示的聊天机器人的50倍,这是资源消耗方式的根本性转变。企业部署多个AI智能体时,成本易失控。而且AI成本本质上是可变的,代币使用量因多种因素大幅波动,这和云计算问题类似。企业原本期望AI成本稳定,结果却逐月攀升,超出预期,原本诱人的商业案例在财务委员会看来吸引力大减。
云经验的启示:FinOps体系应用于AI成本管理
云服务提供商和相关托管服务提供商花了近二十年建立财务运营(FinOps)体系,让云支出透明、可控、合理。如今同样的方法用于AI代币成本管理,有成熟FinOps项目的企业表现更好。基本方法是让支出透明,将成本分摊到合适的团队,设置规则和警报,建立反馈机制。像Priceline和Smartsheet等公司已采取相应措施,让相关人员了解代币消耗情况,责任明确能让开发者和业务用户做出更明智的决策。
“费用回溯”变革:有效降低代币成本
“费用回溯”的AI成本管理方法是这场危机中有效的技术之一。企业将AI支出分摊到推动消耗的团队和个人,建立责任机制。OpenText报告称,实施费用回溯和收费模式几个月内可将代币成本降低20%到30%。当开发负责人了解团队代币消耗情况时,会提出优化问题,从而节省成本。
模型选择智慧:匹配模型能力与任务需求
云计算经验表明,最贵的选项往往不是最好的。企业不应默认对每项任务都使用最大、功能最强的AI模型,而应让模型能力与任务需求相匹配。简单任务用小型、低成本模型就能处理,这种方法效率提升可观。一些企业还采用旧模型或开源替代方案,如高通在自己的硬件上运行模型,可显著降低高流量应用的代币成本。
真正的挑战:缺乏成本管理基础设施
许多企业在部署AI时没有提前建立足够的成本管理基础设施,被技术兴奋感等冲昏头脑。当AI成为业务运营核心时,缺乏财务控制就成了严重问题。企业需要像对待其他重大技术投资一样,严格管理AI的采购和部署,将AI代币成本视为可控的运营费用。云服务提供商和相关托管服务合作伙伴有相关经验和技能,企业寻找有丰富FinOps经验的合作伙伴可能是实现控制的最快途径。这场危机可以解决,但需要承认问题、投资合适的能力,并认识到缺乏财务纪律的技术部署会带来麻烦。明智管理AI支出,CFO会感谢。
相关术语
生成式AI、人工智能、云计算、托管云服务