LLMOps

AI知见编辑部 · 使用进阶 · 持续更新

一句话说清

大模型应用的运维体系：监控成本、评估质量、管理提示词版本。

传统软件上线后行为是确定的，AI应用上线后行为是概率性的——同一个问题今天答90分明天答70分。LLMOps就是为了对付这种不确定性：持续评测回答质量、追踪每次调用的token成本、提示词改动要走版本管理。

个人开发者用得上其中两件：成本监控（给API key设月度限额，防被盗刷）和评估集（攒20个典型问题，每次改提示词后跑一遍对比）。这两件能避免90%的线上事故。

公司把AI接进业务系统后，"回答质量忽高忽低、账单突然暴涨"这类问题，就是LLMOps要管的。普通用户了解即可。