主题
一句话定位:FDE 的现场交付能力,本质是用"七层工具栈 + 一张选型速查表"把客户业务问题压成可上线的系统。本专题按"模型 → 推理 → 检索 → 编排 → 数据 → 评估可观测 → MLOps → 低代码 → 部署"九层,给真实工具清单、定位与选型建议。
25.1 为什么 FDE 必须有一张工具链全景图
2026 年大模型生态的工具数量已突破数千个,FDE 在客户现场最常见的失败模式不是"模型不够强",而是"选错层、选错工具、把本该用检索解决的问题硬塞进 prompt、把本该用编排解决的问题硬塞进微调"。一张分层全景图的真正价值有三:
第一,它强迫 FDE 先做"问题分层"再选工具,而不是被销售牵着走。一个典型的 RAG 卡顿问题,根因可能在嵌入模型(检索层)、可能在重排器(检索层)、可能在 Agent 编排里 context 过长(编排层)、也可能在推理层 KV cache 命中率低。不分层就无法定位。
第二,它给"自建 vs 采购"提供决策依据。FDE 进的往往是央国企、制造业、医院这类对数据出域零容忍的客户,所有"按层"判断哪些可走云 API、哪些必须私有化部署,是方案可行性的前提。
第三,它把"信创兼容性"显式化。2026 年国产化已是硬约束,一张全景图必须标注每个工具在昇腾/海光/麒麟/达梦上的可用性,否则方案过不了关。
25.2 模型层:闭源、开源、国产三分天下
模型层是工具链的最底层,也是 FDE 选型最容易踩坑的层。三类的核心区别不在于"谁分高",而在于成本结构、数据合规、可控性、生态成熟度的取舍。
闭源商用 API。OpenAI GPT-5/GPT-5-mini、Anthropic Claude 4.x(Opus/Sonnet/Haiku 三档)、Google Gemini 2.5 Pro/Flash。定位是"最强推理 + 最快迭代 + 零运维",适合 PoC、对延迟不敏感的离线分析、以及海外业务。代价是数据出域、单价按 token 计算长期不便宜、调用受风控与限流影响。FDE 在国内客户现场一般只在"非敏感、要 demo 效果"的环节用闭源,生产链路会切到开源或国产。
开源权重模型。Meta Llama 4 系列(Scout/Maverick,MoE 架构)、Mistral Large/Mixtral、DeepSeek V3 与 R1、Qwen3 系列、GLM-4.6、Gemma 3。定位是"可私有化部署、可微调、社区生态最丰富"。Llama 4 受许可证限制在国内商用存在灰色地带;DeepSeek V3/R1 凭借极高的性价比(训练成本仅为同档闭源的一个零头)与强推理能力,成为 2025-2026 年国内私有化的事实首选之一;Qwen3 因中文语料充分、Apache 2.0 许可、量化生态完善,是企业微调的主力基座。
国产商用 API。阿里通义千问(多模态 + 长上下文)、百度文心一言、字节豆包(Doubao)、华为盘古(行业大模型路线)、Moonshot Kimi(超长上下文)、智谱 GLM、MiniMax、商汤日日新。定位是"合规、备案齐全、行业 know-how 内置"。盘古在政务、矿山、气象;通义在电商、金融;豆包在内容、营销——FDE 在行业垂直场景里,国产商用 API 往往比通用闭源更"懂行"。
选型红线:FDE 在模型层绝不能赌单一供应商。生产系统默认设计"双模型热备"——一个主力(如 DeepSeek V3 私有化)+ 一个备份(如通义 API),通过编排层做路由切换。
25.3 推理层:把权重变成可调用的服务
模型权重不是服务,FDE 必须用推理引擎把权重封装成高并发、低延迟、可水平扩展的 API。这一层是性能与成本的核心战场。
vLLM。当前开源推理的事实标准,核心是 PagedAttention(把 KV cache 像操作系统管理虚拟内存一样分页管理)与 Continuous Batching(动态拼批)。单机吞吐相比朴素 HuggingFace 推理高出 5-10 倍。支持大多数主流开源模型,量化支持完善(AWQ/GPTQ/FP8)。FDE 私有化部署的第一选择。
TGI(Text Generation Inference)。HuggingFace 出品,与 HF 生态深度绑定,优势在 Streaming、JSON/regex 约束输出、Flash Attention 支持成熟。在"模型经常切换、需要快速拉起 HF 上的新权重"的场景下体验最好。
TensorRT-LLM。NVIDIA 官方,极致性能。在 H100/H200/昇腾(经适配)上能榨干硬件,延迟与吞吐均领先,但编译流程复杂、对新模型支持滞后、调试痛苦。适合"延迟极致敏感、模型稳定不频繁换"的生产链路,如实时客服、高频交易分析。
SGLang。2025 年崛起的新星,核心是 RadixAttention(前缀共享树状 KV cache)与结构化输出加速。在 Agent 多轮调用、共享 system prompt 的场景下,首 token 延迟比 vLLM 低 30%+。FDE 在"一个 system prompt 复用上百次"的 Agent 链路里收益明显。
llama.cpp。CPU/边缘推理之王,GGUF 量化格式能在消费级 GPU 甚至纯 CPU 上跑 7B-13B 模型。边缘设备、离线笔记本 demo、极低成本验证场景的唯一选择。
选型建议:PoC 用 vLLM 起步(生态全、踩坑少);延迟敏感生产链路换 TensorRT-LLM;Agent 场景评估 SGLang;边缘用 llama.cpp。信创侧需确认每个引擎在昇腾 CANN、海光 DCU 上的适配版本,vLLM 已有昇腾分支,TensorRT-LLM 暂不友好。
25.4 RAG 与检索层:解决"模型不知道客户业务"的根
RAG 是 FDE 在企业现场落地最频繁的模式,因为客户的核心痛点永远是"模型不懂我的数据"。这一层分三块:向量库、嵌入、重排。
向量数据库。Milvus(国产、云原生、百亿级向量、生态最全,信创友好);Qdrant(Rust 写、性能强、过滤能力强);Weaviate(内置混合检索 + 模块化);pgvector(PostgreSQL 扩展,适合"已有 PG、数据量中等"的客户,运维零增量);Elasticsearch 8.x+(向量 + 全文 BM25 混合检索,客户已有 ES 时首选)。
FDE 选型口诀:数据量 < 千万级且已有关系库,直接 pgvector,省一套运维;亿级以上、需要分片与多副本,上 Milvus;要在同一个引擎里同时做向量+关键词+结构化过滤,Weaviate 或 ES 8.x。
嵌入模型。BAAI 的 bge 系列(bge-m3、bge-large-zh)是国内事实标准,多语言、中英文表现稳定、可商用;OpenAI text-embedding-3、Cohere embed-v3、通义与智谱的 embedding API 是闭源备选。FDE 在中文企业语料上默认从 bge 起步,遇到长文档优先 bge-m3(支持 8192 token 上下文)。
重排器。Cross-encoder 重排在 RAG 准确率提升上的杠杆远大于换更大的嵌入模型。bge-reranker-v2、Cohere Rerank、Jina Reranker 是常用选择。标准做法是:嵌入召回 top-50 → 重排器精排取 top-5 → 喂给 LLM。这一步通常能把回答命中率从 60% 拉到 85%+。
信创注意:Milvus、bge 均国产可控,已纳入多个央国企采购名录;pgvector 在麒麟 OS 上需确认内核版本兼容。
25.5 Agent 编排层:把单次问答变成多步任务
2026 年的 Agent 工程已从"玩具"走向生产,这一层的工具迭代最快、选型最混乱。
LangGraph。LangChain 团队推出的有向图编排框架,核心是把 Agent 流程建模为"节点 + 边 + 状态"的状态机,支持循环、分支、人机回环、断点续跑。在"流程复杂、需要确定性、要可视化调试"的企业场景下最稳。是 FDE 在生产 Agent 上的首选。
CrewAI。角色化多 Agent 框架,把"研究员/分析师/审核员"等角色显式建模,适合"分工明确的协作型任务"。上手快、社区活跃,但在复杂状态管理与生产稳定性上不如 LangGraph。
OpenAI Agents SDK / Responses API。OpenAI 官方在 2025 年推出的 Agent 原语,与 GPT 模型、function calling、computer use 深度集成。在"全栈用 OpenAI、追求最短路径"的团队里生产力最高,代价是供应商锁定。
Google ADK(Agent Development Kit)。Gemini 配套的 Agent 开发套件,与 Vertex AI、Gemini 模型、Google 生态原生集成,海外项目首选之一。
MCP(Model Context Protocol)。Anthropic 主导、2025 年成为事实标准的"工具/数据源接入协议"。它不是编排框架,而是"让任何 Agent 都能以统一方式挂载数据库、API、文件系统、SaaS 工具"的中间层。FDE 在客户现场接 ERP、CRM、知识库时,MCP 把"每个工具写一遍适配"降为"写一次 MCP server 全 Agent 复用",价值巨大。2026 年主流编排框架均已原生支持 MCP。
Guardrails / NeMo Guardrails / Llama Guard。输出护栏层,负责把 LLM 的自由输出约束到合规边界:PII 脱敏、话题限制、输出格式校验、安全过滤。在金融、医疗、政务现场是必装组件。
选型建议:复杂生产 Agent 用 LangGraph + MCP;快速 demo 用 CrewAI;纯 OpenAI 栈用 Agents SDK;任何面向用户的链路都叠 Guardrails。
25.6 数据层:喂给模型的是数据,不是空气
模型的质量天花板由数据决定。FDE 在客户现场花时间最长的往往是这一层。
批处理。Apache Spark(大规模 ETL、特征工程、语料清洗),仍是事实标准;Ray(分布式 Python,与 ML 训练统一)在深度学习数据预处理上崛起。
流处理。Apache Flink(低延迟、exactly-once、状态管理),实时风控、实时推荐、实时 RAG 索引更新的首选;Kafka 作为消息总线贯穿全链路。
数据建模与编排。dbt(批 SQL 转换、指标定义、血缘追踪,已成为分析工程标准);Apache Airflow(任务编排 DAG 老牌);Temporal(代码即工作流,强类型重试,在长时 Agent 任务、人工审批流编排上比 Airflow 更工程化,FDE 在"多步交付 + 人工介入"场景下越来越倾向 Temporal)。
数据质量。Great Expectations(声明式数据断言、生成数据文档)、Soda(轻量、与 dbt 集成好)。在"语料入库前必须过质量关"的 RAG 项目里是必装项。
特征存储。Feast(开源特征存储,训练-推理特征一致性)、Tectonic(企业版)。在"模型既用结构化特征又用文本"的混合场景下,特征层与向量层要统一管理。
FDE 心法:数据层的投入回报远高于换更大的模型。同一个 RAG 系统,语料清洗质量从 70 分提到 90 分,效果提升往往超过换 GPT-4 到 GPT-5。
25.7 评估与可观测层:没有度量就没有交付
LLM 应用的最大工程难题是"非确定性输出如何度量"。这一层是 FDE 能否把 demo 变成生产系统的分水岭。
离线评估。RAGAS(RAG 专用,从 faithfulness、answer relevancy、context precision/recall 四维评估);DeepEval(类 pytest 的 LLM 断言);Promptfoo(矩阵化 prompt/模型评测,一次跑几十个 prompt × 模型 × 参数组合)。FDE 交付前必须用 RAGAS + Promptfoo 跑回归集。
在线可观测。LangSmith(LangChain 官方,trace 最细);Langfuse(开源、可私有化、信创友好,央国企首选);Arize Phoenix(OpenInference 标准,多框架 trace 统一);TruLens(链式 trace + 因果归因)。核心能力是:把每次 LLM 调用的 prompt、模型、token、延迟、cost、用户反馈串成 trace,FDE 用它定位"为什么这条回答质量差"。
选型建议:私有化用 Langfuse;海外/全 LangChain 栈用 LangSmith;多框架混合用 Phoenix;评估流水线用 RAGAS + Promptfoo。这一层最大的价值不是工具本身,而是"建立评估指标 → 建立回归集 → 每次迭代跑回归"的纪律。
25.8 MLOps 层:从一次模型到持续迭代
LLM 让 MLOps 复杂度上升了一个量级——模型、prompt、检索库、微调权重都在变。
实验追踪与模型注册。MLflow(开源、与框架无关、模型注册表完整,事实标准);Weights & Biases(团队协作、可视化、实验对比体验最好,但商用 SaaS 国内访问受限,有私有化版本)。
训练流水线。Kubeflow(Kubernetes 原生、组件全但重);Ray Train + Ray Tune(轻量、与推理统一);在 2026 年,FDE 在企业内做 LoRA/QLoRA 微调时,常用 MLflow + Ray Train 的组合。
模型服务。Seldon Core(K8s 原生、金丝雀发布、A/B 测试);BentoML(打包-部署一体化,对 LLM 适配好,BentoCloud 商用)。信创侧需确认 K8s 发行版(如华为 CCE、麒麟容器云)兼容性。
FDE 注意:MLOps 是"最后一公里",很多项目卡在"模型训出来但上不了线、上线了没法迭代"。把 MLflow + Seldon/BentoML 的迭代闭环打通,比堆模型能力更重要。
25.9 低代码平台:让业务方自己搭 Agent
不是所有客户都需要 FDE 写代码。低代码平台是 FDE 交付后的"自运转移交"载体。
Coze(扣子)。字节出品,插件市场丰富、bot 搭建零门槛、与豆包模型深度集成,适合 To C / 营销类场景快速产出。国内版合规备案齐全。
Dify。开源、可私有化、支持 RAG + Agent + 工作流三大模式、模型供应商抽象层完善,是 FDE 在企业内部移交"让运营/业务自己迭代 prompt 与知识库"的首选平台。信创私有化部署成熟。
Trae / 百度 AppBuilder / 腾讯元器 / 阿里百炼。各家云厂商的 Agent 搭建平台,优势在与自家云、自家模型、自家 SaaS 生态绑定,适合"客户已选定某朵云"的纵深场景。
n8n / Coze 海外版 / Flowise。海外与开源低代码编排,n8n 在自动化集成上生态强,适合内部工具链。
选型建议:开源私有化交付用 Dify;To C 快速验证用 Coze;客户已绑定云厂商用对应云平台。FDE 的角色是"搭好底座 + 移交文档",让客户能在低代码层自己改。
25.10 部署层:云、私有、边缘、信创四象限
部署形态决定整个工具链的边界条件。
云部署。AWS Bedrock、Azure OpenAI、阿里云百炼、腾讯云 TI、华为云 ModelArts。优势是开箱即用、弹性强;代价是数据出域与长期成本。适合互联网、初创、海外业务。
私有化部署。客户机房、专有云、一体机。这是 FDE 在央国企、金融、医疗、政务现场的主战场。技术栈典型组合:开源模型(DeepSeek/Qwen)+ vLLM 推理 + Milvus 向量库 + Langfuse 可观测 + Dify 编排,全部跑在 K8s 上。
边缘部署。工厂产线、车载、医疗设备、离线终端。技术栈:小模型(Qwen3-4B/Gemma-2B 量化)+ llama.cpp + 本地 SQLite/pgvector。FDE 在制造业现场用得最多。
信创部署(2026 年硬约束)。算力侧:昇腾(Atlas 800/300I,走 CANN + MindIE 推理)、海光(DCU,走 ROCm 生态);CPU 侧:鲲鹏、海光、飞腾;OS 侧:麒麟、统信 UOS;数据库侧:达梦、人大金仓、OceanBase;中间件:东方通、宝兰德。FDE 必须掌握的核心技能:把开源工具链(vLLM/Milvus/Langfuse/Dify)在昇腾 + 麒麟 + 达梦上跑通,这是一整套独立于 NVIDIA + x86 + CentOS 的技术栈。当前 vLLM、Milvus、Dify 均有昇腾适配分支,Langfuse 纯应用层无算力依赖,信创闭环已基本可行。
信创红线:FDE 在央国企投标,方案里任何"依赖 NVIDIA GPU + 美系数据库"的环节都会被扣分甚至废标。必须显式给出昇腾/海光 + 达梦/OceanBase 的等价替代。
25.11 选型速查表:从需求到工具
下表把常见需求映射到具体工具,FDE 现场可直接对照。
| 需求场景 | 首选工具 | 备选 | 信创可用 |
|---|---|---|---|
| 最强通用推理(可出域) | Claude Opus / GPT-5 | Gemini 2.5 Pro | 否 |
| 私有化最强推理 | DeepSeek V3 / R1 | Qwen3-Max / GLM-4.6 | 是 |
| 高并发推理服务 | vLLM | SGLang(Agent 场景) | 昇腾分支可用 |
| 极低延迟生产推理 | TensorRT-LLM | MindIE(昇腾) | 昇腾用 MindIE |
| 边缘/离线推理 | llama.cpp | Ollama | 是 |
| 亿级向量检索 | Milvus | Qdrant | 是 |
| 中小数据 + 已有 PG | pgvector | Elasticsearch 8.x | 是 |
| 中文嵌入 | bge-m3 | 通义/智谱 embedding | 是 |
| RAG 重排 | bge-reranker-v2 | Cohere Rerank | 是 |
| 复杂生产 Agent | LangGraph + MCP | OpenAI Agents SDK | 是 |
| 多角色协作 Agent | CrewAI | AutoGen | 是 |
| 工具/数据源接入 | MCP server | 自研 function calling | 是 |
| 输出护栏 | NeMo Guardrails | Llama Guard | 是 |
| 大规模批 ETL | Spark | Ray | 是 |
| 实时流处理 | Flink + Kafka | Pulsar | 是 |
| 数据转换与血缘 | dbt | Dataform | 是 |
| 长时任务编排 | Temporal | Airflow | 是 |
| 数据质量校验 | Great Expectations | Soda | 是 |
| RAG 离线评估 | RAGAS | DeepEval | 是 |
| Prompt/模型矩阵评测 | Promptfoo | OpenAI Evals | 是 |
| 在线 trace 可观测 | Langfuse(私有化) | Phoenix | 是 |
| 全链路 trace(SaaS) | LangSmith | Langfuse Cloud | 否 |
| 实验追踪 + 模型注册 | MLflow | W&B(私有化) | 是 |
| 训练流水线 | Ray Train + MLflow | Kubeflow | 是 |
| 模型服务发布 | BentoML | Seldon Core | 是 |
| 低代码 Agent 平台(私有化) | Dify | FastGPT | 是 |
| 低代码 Agent(To C) | Coze | 元器/百炼 | 是 |
| 信创算力 | 昇腾 + CANN/MindIE | 海光 DCU + ROCm | 是 |
| 信创数据库 | 达梦 / OceanBase | 人大金仓 | 是 |
| 信创 OS | 麒麟 / 统信 UOS | openEuler | 是 |
25.12 FDE 工具链选型的五条铁律
第一,先分层再选工具。80% 的"模型不行"本质是分层错位——把检索问题塞进 prompt、把编排问题塞进微调。FDE 第一动作永远是定位问题在七层中的哪一层。
第二,私有化优先于云,开源优先于闭源。在国内客户现场,这是政治正确也是工程正确。一套 Dify + vLLM + Milvus + Langfuse 的全开源私有化栈,能覆盖 80% 的企业需求。
第三,信创兼容性必须前置确认。不要等投标时才发现工具跑不上涨腾。FDE 在 PoC 阶段就要在昇腾机器上验证关键路径。
第四,评估可观测层不能省。很多项目失败于"上线后没人知道质量在降"。Langfuse + RAGAS + 回归集是生产系统的标配,不是可选项。
第五,低代码平台是交付的终点。FDE 的目标不是写一套自己维护的系统,而是搭好底座 + 选好低代码平台 + 移交文档,让客户能自运转。工具链的最后一层,永远是 Dify 或类似的低代码层。
25.13 工具链的演进趋势(2026-2027)
三条趋势 FDE 必须盯紧:一是 MCP 协议化——工具接入正在标准化,未来"写一次 MCP server,所有 Agent 复用"会成为默认,自研适配的工作量会大幅下降;二是 推理引擎收敛——vLLM 与 SGLang 在持续互相吸收特性,长期看会收敛到一两个事实标准,FDE 不必过度追新;三是 信创栈成熟——昇腾 + MindIE + 国产向量库 + 达梦的闭环在 2026 年已基本可用,2027 年会成为央国企招标的强制基线,FDE 现在就该把这套栈跑顺。
另一条隐线是评估与可观测的标准化。OpenTelemetry 的 GenAI 语义约定正在统一各框架的 trace 格式,Langfuse、Phoenix、LangSmith 都在向其对齐。这意味着 FDE 未来可以"换工具不换 trace",减少锁定。
本专题小结
FDE 的工具链能力 = 分层判断力 + 信创兼容力 + 评估纪律力。本专题给出 2026 年九层工具栈的真实清单:模型层(闭源 GPT/Claude/Gemini、开源 Llama/DeepSeek/Qwen/GLM、国产通义/文心/豆包/盘古/Kimi)、推理层(vLLM/TGI/TensorRT-LLM/SGLang/llama.cpp)、RAG 检索层(Milvus/Qdrant/Weaviate/pgvector/ES + bge 嵌入 + 重排器)、Agent 编排层(LangGraph/CrewAI/OpenAI Agents SDK/Google ADK/MCP/Guardrails)、数据层(Spark/Flink/dbt/Temporal/GE/Feast)、评估可观测层(RAGAS/TruLens/LangSmith/Langfuse/Phoenix/Promptfoo)、MLOps 层(MLflow/W&B/Kubeflow/Seldon/BentoML)、低代码层(Coze/Dify/Trae)、部署层(云/私有/边缘/信创)。五条铁律与一张速查表可直接用于现场选型。记住:FDE 不是工具收藏家,而是工具的现场集成者——价值不在选最贵的,而在选对层、跑通信创闭环、建立评估纪律、最终把控制权交还给客户。
本专题来源
- 模型层信息:OpenAI、Anthropic、Google、Meta、Mistral、DeepSeek、阿里通义、百度文心、字节豆包、华为盘古、Moonshot、智谱官方文档与发布说明(2024-2026)
- 推理引擎:vLLM、TGI、TensorRT-LLM、SGLang、llama.cpp 官方仓库与性能 benchmark(PagedAttention、RadixAttention、Continuous Batching 论文与技术博客)
- 向量库与 RAG:Milvus、Qdrant、Weaviate、pgvector、Elasticsearch 官方文档;BAAI bge/bge-reranker 模型卡;RAGFromScratch、LangChain RAG 教程
- Agent 编排:LangGraph、CrewAI、OpenAI Agents SDK、Google ADK、Anthropic MCP 协议规范、NeMo Guardrails 文档
- 数据与 MLOps:Spark、Flink、dbt、Temporal、Great Expectations、Feast、MLflow、W&B、Kubeflow、Seldon、BentoML 官方文档
- 评估可观测:RAGAS、TruLens、LangSmith、Langfuse、Arize Phoenix、Promptfoo 官方文档与 OpenTelemetry GenAI 语义约定
- 低代码平台:Coze、Dify、Trae、百度 AppBuilder、腾讯元器、阿里百炼官方文档
- 信创栈:华为昇腾 CANN/MindIE、海光 DCU/ROCm、麒麟 OS、统信 UOS、达梦、OceanBase、人大金仓官方资料与信创通报告
- 选型方法论:FDE 工程师完全指南、CDEF 方法论(本仓库《CDEF方法论》全文)的 Engineer 阶段;公开 LLM 工具链年度盘点(2025-2026)