AI安全（AI Safety）

AI知见编辑部 · 基础概念 · 持续更新

一句话说清

研究"怎么让AI别闯祸"的学问——小到别教人做坏事，大到别失控，都归它管。

AI安全管的事分三层。眼前层：防止AI被拿去干坏事——写钓鱼邮件、造假证件、编谣言，所以你的AI助手会拒绝某些请求。中间层：防止AI无意中闯祸——给错医疗建议、帮小孩生成不当内容、被提示词注入骗走数据。远期层：能力远超人类的AI会不会失控——这层目前还是科幻与研究的交界。

主流手段是"对齐+护栏"：训练时教模型什么该做什么不该做（对齐），运行时加过滤器拦截危险输入输出（护栏）。猫鼠游戏天天上演：用户发明新话术绕过限制，厂商连夜打补丁。你在网上看到的"越狱提示词"，就是这场游戏的战报。

跟普通人的关系：一，别费心找绕过限制的话术，既没有意义也有账号风险；二，AI拒绝回答你正常需求时（比如合法的锁匠咨询被误伤），换个说法描述背景通常就能解决；三，涉及健康、法律、钱的建议，AI答了也别全信——安全机制管"干不干坏事"，管不了"说得对不对"。

你问AI"怎么自制炸药"它拒绝回答，就是安全机制在工作。你账号被盗用AI群发诈骗，就是安全没防住的那面。

短期内不会。现在的AI没有欲望和目标，只是高级的文字/图像生成器。值得担心的不是AI造反，而是人拿AI干坏事，以及过度信任AI给的错误答案。

安全过滤器宁可错杀不可放过，医疗、法律、金融类问题最容易被误伤。解决办法：说明你的正当身份和用途，或换个更中性的问法。