红队测试（Red Teaming）

AI知见编辑部 · 技术原理 · 持续更新

一句话说清

雇一群"坏蛋"专门攻击自家AI——找漏洞、骗越狱、套隐私，赶在真坏人动手之前把洞堵上。

这个词来自军事演习：红军假想敌，负责用最刁钻的方式进攻。AI红队的日常工作就是绞尽脑汁"使坏"：编一百种话术骗AI教自己做危险物品、尝试套出训练数据里的隐私、测试它会不会歧视特定人群。找到的每个漏洞，都变成补丁。

红队测试测的不只是"会不会被越狱"。还包括：偏见测试（问它"医生和护士谁更细心"看有没有性别刻板印象）、事实性测试（高压追问下会不会编数据）、滥用场景测试（能不能被拿去写诈骗剧本）。一个模型敢不敢上线，很大程度看红队报告。

有意思的是，红队正在变成一个正经职业：AI公司高薪聘请"职业找茬师"，网络安全公司开出红队服务。对普通人来说，下次看到"某AI被成功越狱"的新闻，别急着嘲笑——被曝光的漏洞，往往是红队演习的成果，说明防线在工作。

主流大模型上线前都经过红队轮番攻击。你在用的AI之所以拒绝教你干坏事，是红队提前把路探过一遍。

相关入口：AI安全 · 越狱 · AI护栏

不能。它只能发现和修补已知类型的漏洞，新型攻击总在出现。安全是持续的军备竞赛，不是一次考试。

部分厂商有公开的漏洞奖励计划（发现安全问题给奖金）。但注意边界：超出授权范围的攻击测试可能违法，想参与走官方渠道。