主题
一、多模态 AI 的 2026 现状
2026 年的"多模态"已经从 2023 年的"文生图 demo 大爆发"走向了一个更冷静、也更工程化的阶段。其特征可以用三句话概括：生成质量过了"能用"门槛、理解能力过了"准用"门槛、成本过了"敢用"门槛。
具体来看五条主线：
文生图全面收敛到三档：闭源旗舰（OpenAI gpt-image-1、Google Imagen 4、Midjourney v7）、开源主力（Stable Diffusion 3.5 / FLUX.1 dev / SDXL Lightning）、垂直可控（即梦 3.0、可灵 AI 图像、Liblib 国风生态）。争议焦点从"分辨率"转移到"是否稳定可控出字、出 logo、出四格"。FLUX.1 dev 在 2025 年成为开源事实标准，是绝大多数 LoRA 与 ControlNet 工作的底座。
文生视频进入"分钟级、1080p、可对口型"的深水区：OpenAI Sora 2、Google Veo 3（已支持同步生成对白音轨）、可灵 2.0（最高 1080p、10 秒、首尾帧控制）、即梦 Video 3.0、Pika 2.2、Runway Gen-4。视频生成单条成本从 2024 年的几十美元压到 2026 年的 0.5–3 美元区间，但"长镜头一致性"和"运动物理"仍是公开难题。
图生文 / 视觉理解是 2025–2026 真正打开企业市场的赛道：GPT-4o、Claude Sonnet 4.5、Gemini 2.5 Pro、Qwen2.5-VL-72B、GLM-4.5V、InternVL3 在文档理解、图表读取、UI 截图转代码上能力跃升明显。尤其 Qwen2.5-VL-72B 开源后，"百卡以内私有化部署一个能看懂合同的模型"成为现实。
语音出现两极分化：通用 ASR（OpenAI Whisper large-v3 / 阿里 Paraformer / 字节 Sponge、SenseVoice-Small）已逼近人类水平；TTS 走向"声音克隆 + 情感可控"（ ElevenLabs、CosyVoice 2、MiniMax Speech-02、字节 Seed-TTS），合规焦点从准确率转向声音肖像权。
视频理解（Video Understanding，区别于 Video Generation）成为新热点：Gemini 2.5 Pro 支持原生 1 小时视频上下文，Qwen2.5-VL、InternVL3 支持 20 分钟以上视频 token 化，安防、质检、医疗影像开始用"视频理解 Agent"替代人工巡查。
二、主流多模态模型选型对照
FDE 在选型时常被卡在"模型太多了选哪个"。下面这张表按"输入 → 输出"维度梳理 2026 年实战主流：
| 模型 / 工具 | 厂商 | 输入 → 输出 | 强项 | 短板 | 典型单价（2026） |
|---|---|---|---|---|---|
| GPT-4o | OpenAI | 文/图/音 → 文/音 | 综合最强、调用稳定 | 图片无法本地化、贵 | 图像输入 $2.5/M token |
| Claude Sonnet 4.5 | Anthropic | 文/图 → 文 | 文档/代码、长上下文 200K | 无语音、无视频生成 | $3/M input |
| Gemini 2.5 Pro | 文/图/音/视频 → 文 | 1M 上下文、原生视频 | 中文弱于英文、配额紧 | $1.25/M input | |
| Qwen2.5-VL-72B | 阿里 | 文/图/视频 → 文 | 开源、中文文档 OCR、可私有化 | 复杂推理略弱 | 自部署电费级 |
| GLM-4.5V | 智谱 | 文/图/视频 → 文 | 中文 GUI 截图、视频理解 | API 偶发抖动 | ¥0.05/千 token |
| InternVL3 | 上海 AI Lab | 文/图 → 文 | 开源学术旗舰、企业可微调 | 工程化文档少 | 开源免费 |
| gpt-image-1 / Imagen 4 | OpenAI / Google | 文/图 → 图 | 出字稳定、可控构图 | API 受限、版权约束 | $0.04/张 |
| FLUX.1 dev | Black Forest Labs | 文 → 图 | 开源旗舰、LoRA 生态 | 显存 24G 起 | 自部署 |
| Sora 2 / Veo 3 | OpenAI / Google | 文/图 → 视频+音 | 分钟级、对口型 | 价格高、排产 | $1.5–$3/次 |
| 可灵 2.0 / 即梦 Video 3.0 | 快手 / 字节 | 文/图 → 视频 | 中文理解、首尾帧、便宜 | 长一致性弱 | ¥1.5–¥5/次 |
| Whisper large-v3 | OpenAI | 音 → 文 | 多语种 ASR 基线 | 长音频需 VAD 切分 | 自部署 |
| SenseVoice-Small | 阿里 | 音 → 文+情感 | 中文极快、附情绪标签 | 语种少于 Whisper | 自部署 |
| CosyVoice 2 / Seed-TTS | 阿里 / 字节 | 文+音 → 音 | 3 秒克隆、情感可控 | 需做肖像权合规 | 自部署 |
选型经验法则：私有化优先看 Qwen2.5-VL / GLM-4.5V / CosyVoice，公有云旗舰看 GPT-4o / Gemini 2.5 Pro，生成可控优先看可灵 / 即梦 / FLUX.1，性价比私有化部署 InternVL3。
三、场景一：文档智能（OCR + 版面 + 表格 + 理解）
这是 FDE 最容易"接单"也最容易"翻车"的场景。客户拿来一份 30 页的扫描合同，要求"提取甲乙方、金额、违约条款、付款节点"，听起来简单，实际链路是：扫描去噪 → OCR → 版面分析（区分正文/页眉/印章/手写批注）→ 表格结构化 → KIE（关键信息抽取）→ LLM 理解 → 输出 JSON 落库。
典型技术栈（2026 落地版）：
- 预处理：PaddleOCR（PP-StructureV3）做版面 + 表格 + 印章检测，单页处理 1.2 秒；
- OCR：私有化用 PaddleOCR-VL 或 RapidOCR；云端用腾讯云文字识别 / 阿里读光 OCR；
- 理解：Qwen2.5-VL-72B 接收"裁剪后的版面块 + 全图缩略图"，输出结构化字段；
- 校验：规则引擎（金额大写小写一致、日期合法）+ 第二模型交叉验证（如 GLM-4.5V）；
- 人工复核：低置信度（<0.85）落到人工台，复核结果回写训练集做 LoRA 微调。
真实案例数据（华东某城商行信贷合同归档项目，2025 Q4）：单页处理成本从外包人工 ¥1.8 降到 ¥0.32，吞吐从每人每日 600 页提到 12000 页，字段 F1 从 0.87 提到 0.964。但印章遮挡手写签名、骑缝章跨页两类样本仍需人工兜底，占比约 4.7%。
票据场景更标准化，但"发票连打 + 折痕"是真实难点。推荐用 CnOCR + Donut（OCR-free）双跑，置信度差异大于 0.2 的进入人工。病历场景合规最重：必须脱敏（姓名/身份证/电话）、必须留审计日志、模型不得公网调用，通常做法是私有化 Qwen2.5-VL-32B + 病历字段微调，单医院首年 TCO 约 ¥180 万。
四、场景二：视觉质检（制造章的延伸）
视觉质检是多模态在企业内部 ROI 最硬的场景之一。2026 年的两条主流路线：
路线 A：传统 CV + 缺陷分类。用 ResNet / EfficientNet / YOLOv11 训练缺陷检测，适合"缺陷类型固定、样本量大"的成熟产线，例如 PCB 焊点、玻璃气泡、瓷砖色差。准确率可达 99%+，但新缺陷冷启动需要 200–500 张标注样本。
路线 B：VLM 零样本 / 小样本质检。用 Qwen2.5-VL 或 GPT-4o 配合"缺陷描述 prompt"，适合"SKU 多、缺陷长尾、换型频繁"的柔性产线。例如某 3C 外壳厂，2000+ SKU，传统模型每上新品要 2 周重训，改用 Qwen2.5-VL-72B 后只要 30 张样图 + 自然语言描述，2 小时上线，综合漏检率 0.8%（人工基线 1.6%）。
混合工程实践：高频缺陷走传统 CV（毫秒级、GPU 一张就能跑），低频缺陷走 VLM（500ms、贵 30 倍），二者用置信度路由并联，综合单件检测成本压到 ¥0.003。
真实坑：光照漂移会让 VLM 准确率一周内掉 5 个百分点，必须做在线 A/B + 影子模式，每天抽 5% 样本人工复核，发现漂移立即回滚 prompt。
五、场景三：内容生成（营销图文 / 短视频 / 数字人）
这是 ROI 最直观、也是合规风险最高的场景。零售和媒体行业的需求池基本就三类：
营销图文：商品图（白底换场景）、模特图（虚拟试衣）、海报（含文字排版）。2026 主流工作流是 FLUX.1 dev + IP-Adapter + ControlNet + ControLNet-Union + 后期 GPT-image-1 修字。某美妆品牌双十一素材生产从每人日产 8 张提到 120 张，但人脸一致性仍需人脸 LoRA 训练，单 SKU 前期投入 ¥2000–¥5000。
短视频：脚本（LLM）→ 分镜（VLM 看参考图生 prompt）→ 镜头（可灵 2.0 / 即梦 Video 3.0）→ 剪辑（剪映 API）→ 配音（CosyVoice 2）。一条 15 秒短视频综合成本 ¥8–¥25，比外包 ¥300–¥800 低一个数量级。但要警惕"AI 味"，观众对通用的 Sora / 可灵风格已经产生审美疲劳，真实感和叙事密度成了新门槛。
数字人直播：2026 已成电商标配。HeyGen / 商汤如影 / 硅基智能 / 字节即梦数字人四分天下，单场直播成本从真人主播 ¥3000/场 降到 ¥300/场。合规三件套：主播肖像授权书（书面 + 公证）、平台报备（抖音/快手/视频号均要"AI 生成"标识）、虚假宣传关键词过滤。
某连锁茶饮品牌全国 800 店数字人直播项目（2025 H2）数据：日均开播门店从 40 家扩到 600 家，GMV 提升 37%，但同时承担 2.3% 的平台"AI 直播降权"流量损失，需配合真人主播轮播规避。
六、场景四：语音（ASR / TTS / 语音助手）
ASR 在 12345 政务热线和客服中心已是标配。Whisper large-v3 通用但延迟高（实时流式需 whisper-streaming 改造），SenseVoice-Small 中文场景速度比 Whisper 快 5 倍、附情绪/事件标签，是 2025 年国内主流。某省会 12345 部署 SenseVoice-Small + 业务 LLM：日均 1.8 万通电话实时转写，工单自动分类准确率 92%，平均通话后处理时长从 90 秒降到 18 秒。
TTS 走向声音克隆 + 情感可控。ElevenLabs 海外贵但稳，CosyVoice 2 / Seed-TTS 国内可私有化、3 秒克隆、支持 32 种情绪标签。红线：2024 年起多起"AI 拟声诈骗案"后，《生成式人工智能服务管理暂行办法》明确要求声音克隆必须有书面授权，并对训练数据来源做台账。
语音助手架构 2026 趋向"ASR → LLM（带工具调用）→ TTS"端到端低延迟（<1.2 秒）。Vapi、Retell、字节 Doubao 语音、阿里 Qwen-Audio 提供托管方案。某银行信用卡电销项目实测：AI 外呼接通率 38%、意向识别准确率 81%，相比人工坐席节省 64% 成本，但投诉率比人工高 1.8 倍，必须配人工兜底转接。
七、场景五：视频理解（安防 / 质检 / 医疗影像）
视频理解是 2025 年新打开的口子，核心驱动力是 Gemini 2.5 Pro 的 1 小时原生视频上下文 + Qwen2.5-VL 的视频 token 压缩。
安防：传统视频结构化（人/车/脸检测）+ VLM 行为理解。某园区项目用 YOLOv11 出 bbox + Qwen2.5-VL 做事件描述（"红衣男子翻越围栏"），告警准确率从规则引擎的 23% 提到 78%，误报率仍 12%，靠"VLM 告警 → 现场保安 App 确认"闭环消化。
质检（视频）：产线高速相机拍 60fps 视频，VLM 做"连续帧缺陷"理解（如线缆划痕、注塑气泡序列），比单帧检测召回率高 40%，但算力成本是单帧的 8 倍，仅用于高价值品类。
医疗影像：CT / MRI / 内镜序列理解。GLM-4.5V 和 Qwen2.5-VL-72B 在肺部 CT 结节检出上达到三甲主治水平（敏感度 94.2% vs 92.8%），但仅作辅助，诊断必须由执业医师签字，且需通过二类/三类医疗器械注册——这一关 80% 的 AI 医疗创业公司卡在这里。
八、多模态工程化（选型 / 成本 / 延迟 / 质量 / 合规）
FDE 落地多模态项目，工程化能力比"会用模型"更重要。五个维度：
模型选型遵循"任务匹配 > 综合排名"原则。文档理解选 Qwen2.5-VL，代码截图选 Claude，视频长上下文选 Gemini，生成可控选可灵/即梦。永远先做 100 样本的离线评测再上 API。
成本最容易失控。某零售客户上线 GPT-4o 做商品图描述，没做缓存，月账单从预估 ¥3 万冲到 ¥27 万——根因是同一张图被反复请求。必须做：① 向量缓存（同一图描述入库，命中率 40–70%）；② 降级路由（简单图走 Qwen2.5-VL-7B，复杂图走 GPT-4o，分流 70% 流量）；③ 单次调用 token 监控告警。
延迟对实时场景致命。视频理解 API p99 常在 8–15 秒，做语音助手时要把"先回话后补充"做成交互设计，把感知延迟从网络延迟里剥离。私有化部署用 vLLM + TensorRT-LLM，72B 模型首 token 压到 600ms 内。
质量评估用多维指标：OCR 用 CER、WER；KIE 用字段级 F1；生成用 CLIPScore + 人工 5 分制抽检；视频理解用 BLEU + 事件 Recall。拒绝单一指标——某项目用准确率 95% 验收，但漏掉的 5% 全是金额字段，等于没做。
合规四条红线：① 著作权（训练数据、生成物版权归属）；② 肖像权 / 声音权（必须书面授权）；③ 数据出境（《数据出境安全评估办法》）；④ 生成内容标识（《人工智能生成合成内容标识办法》2025-09 生效，必须加显式 + 隐式水印）。FDE 在提案阶段就要把合规清单写进 SOW，避免交付后被法务打回。
九、多模态 Agent（看图操作 / 视频分析）
Agent 是 2026 的增量场。两个有商业闭环的形态：
看图操作 Agent（Computer-Use / GUI Agent）：Claude Computer Use、Anthropic Tool Use、智谱 AutoGLM、阿里 Qwen2.5-VL-Agent 让模型"看屏幕 → 鼠标键盘操作"。某保险理赔场景，Agent 读取报案截图 → 登录核心系统 → 比对保单 → 录入理赔单，端到端自动化率 68%，复杂件（多人/多保单）回退人工。关键工程是"步骤可回放 + 失败快照"——每一步存截图和动作日志，方便事后审计和训练。
视频分析 Agent：用户给一段 30 分钟会议录像，Agent 输出"决议事项 + 责任人 + 截图证据"。架构是 ASR 转写 + VLM 关键帧理解 + LLM 综合三段式。某互联网大厂内部会议系统部署后，员工回看会议时长下降 71%。
Agent 落地的真实难点不是模型，而是长程任务的稳定性：50 步任务里一步失败就会整体失败。工程上要做"任务图 + 检查点 + 自动重试 + 人工接管"，2026 业界成功率天花板约 60–75%，必须按"半自动"设计产品形态。
十、各场景 ROI 速查
| 场景 | 典型投入 | 典型年化收益 | 回本周期 | 风险点 |
|---|---|---|---|---|
| 文档智能（合同/票据） | ¥80–200 万 | 替代 5–15 FTE | 8–14 个月 | 印章/手写兜底 |
| 视觉质检 | ¥150–400 万 | 漏检率减半、良率 +1–3pp | 12–18 个月 | 光照漂移 |
| 营销图文 | ¥30–80 万 | 素材产能 ×10 | 3–6 个月 | 肖像权、AI 味 |
| 短视频/数字人 | ¥100–300 万 | 替代真人主播 | 6–10 个月 | 平台降权 |
| 语音 ASR/TTS | ¥50–150 万 | 替代 10–30 FTE | 6–12 个月 | 拟声诈骗合规 |
| 视频理解（安防） | ¥200–500 万 | 误报率 ↓、保安 FTE ↓ | 18–24 个月 | 误报消化 |
| 视频理解（医疗） | ¥300–800 万 + 注册费 | 辅助诊断、客单价提升 | 24–36 个月 | 器械注册 |
| 多模态 Agent | ¥100–300 万 | 端到端自动化 60%+ | 10–18 个月 | 长程稳定性 |
本专题小结
多模态 AI 在 2026 年已经不是"实验室 demo"，而是 FDE 工具箱里的常规武器。三条主线值得反复强调：第一，理解类（VL）已可商用，Qwen2.5-VL / GLM-4.5V 私有化部署成为企业默认选择；第二，生成类（图/视频/音）过了能用门槛，但合规与一致性是新的工程边界；第三，Agent 化是下一个增长点，半自动 + 人工兜底是 2026 的现实形态。FDE 落地多模态的核心能力不是"会用哪个模型"，而是模型选型 + 成本路由 + 质量评估 + 合规清单四位一体的工程化能力。文档智能、视觉质检、内容生成、语音、视频理解五大场景的 ROI 已经跑通，但每个场景都有 1–2 个真实坑（印章、光照漂移、肖像权、拟声、误报、器械注册），FDE 必须在 SOW 阶段就明示，避免交付后被合规或质量打回。
本专题来源
- OpenAI GPT-4o / gpt-image-1 / Sora 2 官方文档与系统卡（2025–2026）
- Anthropic Claude Sonnet 4.5 模型卡与 Computer Use 文档
- Google Gemini 2.5 Pro / Veo 3 / Imagen 4 模型卡
- 阿里云通义千问 Qwen2.5-VL / Qwen-Audio / CosyVoice 2 技术报告与 ModelScope 页面
- 智谱 AI GLM-4.5V / AutoGLM 官方文档
- 上海 AI Lab InternVL3 技术报告
- Black Forest Labs FLUX.1、Stability AI SD 3.5 模型发布
- 快手可灵 2.0、字节即梦 Video 3.0 / Seed-TTS / Doubao 语音官方资料
- OpenAI Whisper large-v3、阿里 SenseVoice 技术报告
- 百度 PaddleOCR PP-StructureV3、CnOCR、RapidOCR 项目文档
- HeyGen / 商汤如影 / 硅基智能 / 硅基数字人 产品页与案例
- 《生成式人工智能服务管理暂行办法》（国家网信办等七部委，2023-08）
- 《人工智能生成合成内容标识办法》（2025-09 生效）
- 《数据出境安全评估办法》（国家网信办，2022-09）
- 华东某城商行信贷合同归档项目交付资料（2025 Q4，匿名）
- 某 3C 外壳厂 VLM 视觉质检项目复盘（2025 H2，匿名）
- 某连锁茶饮数字人直播项目交付报告（2025 H2，匿名）
- 某省会 12345 政务热线 ASR 项目验收文档（2025，匿名）