多模态（Multimodal）

AI知见编辑部 · 基础概念 · 持续更新

一句话说清

能同时处理文字、图片、语音、视频多种输入的AI。

想象你认识一个新朋友：光看照片不够，还得听声音、看动作、读表情，甚至闻气味。多模态AI也是这样，它把文字、图片、声音、视频等不同“感官”的信息揉在一起理解。比如你发张猫的照片配上“好可爱”，AI能同时看懂图片和文字，知道你在夸猫，而不是说别的东西。

以前AI多半是“单模态”的，要么只看文字，要么只认图片，像个只读说明书的人。现在多模态AI像全能助理，你给它一张菜单照片，它能读出菜名、价格，还能告诉你哪道菜辣。它靠的是把不同信息转成同一种“语言”来处理，就像你把中文、英文都翻译成数字密码，电脑就能一起算。

常见误解是觉得多模态就是“拼凑”，其实不是。它得让不同信息相互补充，比如视频里人说话，AI要同时看口型和听声音，才能更准。另一个误解是以为多模态什么都能干，其实它也会出错，比如模糊图片加嘈杂声音，照样会懵。所以别把它当神，它只是更接近人的感知方式。

想拍照问问题、发语音聊天，选多模态工具，比如豆包的语音通话就是这类体验。

普通AI像只用一个感官，比如只能看文字。多模态像人一样，能同时看、听、读，所以更聪明，能处理更复杂的情况。

不用懂技术，但知道它存在就行。因为以后你用的工具会越来越多地靠它，比如拍照搜东西、语音助手，理解它帮你用得更顺手。