从文本到多模态
多模态模型能同时理解文字、图片、声音，是 AI 发展的重要方向。了解视觉理解模型的能力和局限。
从文本到多模态
什么是多模态
「模态」就是信息的类型：文字是一种模态，图片是一种，声音又是一种。多模态 AI 就是能同时处理多种模态的 AI——你给它一张图片加一段文字，它能看懂图片并回答你的问题。
打个比方：纯文本模型 = 一个只听不看的人；多模态模型 = 一个能看能听能说的人。
国内主流多模态模型
| 模型 | 能力 | 特点 |
|---|---|---|
| 通义千问 VL | 看图说话、OCR、图表分析 | 综合能力均衡，支持中文场景好 |
| 智谱 GLM-4V | 图片理解、文档分析 | 学术图表和复杂文档解析强 |
| Kimi 原生多模态 | 图文混合理解 | 长图文混合推理能力突出 |
| MiniMax 多模态 | 文本+语音+图像 | 语音交互和多模态内容创作领先 |
多模态能做什么
看图回答问题： 把截图发给模型，问它图片内容、图表趋势、报错原因等。
文档和表格识别（OCR）： 拍一张纸质文件，让模型帮你转成电子版。
代码截图转代码： 拍一张代码截图，直接转成可编辑的文本。
多模态的局限
- 细节容易遗漏：复杂图表中的小字、密集数据可能看漏
- 空间理解有限：「图片左边第三个人穿什么颜色」这类问题可能答错
- 不能处理视频：大多数模型只能看静态图，不能看视频（但在快速发展中）
使用技巧
- 图片要清晰：模糊的图片识别率会大幅下降
- 问题要具体：「这张图讲了什么」不如「这张图中的柱状图，2023年的数据是多少」
- 复杂图片分段问：先问整体结构，再问具体细节
多模态是 AI 的眼睛——它让 AI 不再只靠文字理解世界，但视力还在不断进步中，别期望它比人眼还准。