FDE 不是数据科学家，但 FDE 若没有数据科学功底，就只能在客户的 BI 报表和算法同事的结论之间做"翻译搬运工"，永远拿不到对结果的话语权。本专题把一名合格 FDE 必须内化的统计与评估素养压缩成可操作的清单。

31.1 为什么 FDE 必须有数据科学功底

前沿部署工程师的核心动作是"在客户真实环境里把 AI 变成可量化的业务结果"。这句话里每一个限定词都指向数据科学：

第一，数据驱动决策。客户现场的决策链条上挤满了经验派（"我觉得应该这样"）、关系派（"老板说这样"）和数据派。FDE 的工作是把模糊的业务问题翻译成可度量的指标，再把指标翻译成可执行的实验。如果 FDE 自己看不懂一张分布图、算不准一个置信区间，就只能被经验派和关系派牵着走，最终交付物也变成了"我觉得这个模型有效"。

第二，效果量化。AI 项目最致命的不是模型不够好，而是"没人能说清它到底好多少"。一个客服机器人的拦截率从 30% 提到 45%，看起来是胜利，但如果同时期工单总量翻倍、未解决工单的客诉率上升，净效果可能是负的。FDE 必须能用统计语言回答"这个模型上线后业务到底改善了多少、改善是不是随机的、改善会持续多久"。

第三，防被数据骗。客户会拿供应商给的漂亮 dashboard 来压你（"你看 A 厂商说他们的准确率 98%"），算法同事会拿离线指标来挡你（"我的 AUC 已经 0.92 了，你还要我怎样"），老板会拿一两个极端 case 来否定全局。FDE 必须能在所有这些场景里识别出统计陷阱，否则就会在内部博弈中失分，最终项目被砍。

一句话：FDE 不必会训练大模型，但必须会用统计思维做决策、做评估、做说服。

31.2 FDE 必备的核心统计概念

31.2.1 分布、均值与方差

FDE 看数据的第一件事不是看均值，而是看分布。客户给的报表通常只给均值，但均值掩盖一切：一个"平均处理时长 5 分钟"的客服系统，可能 80% 的工单 1 分钟解决、20% 的工单 20 分钟解决，体验两极分化。FDE 必须养成先画直方图、再看箱线图、最后才看均值的习惯。

关键概念清单：

• 偏态（skewness）：业务数据几乎都是右偏的（收入、订单金额、工单处理时长），右偏数据用均值会被长尾拉高，用中位数更稳。
• 方差与标准差：衡量波动。同样均值 100 的两个模型，一个标准差 5、一个标准差 50，前者可上线、后者不可上线。
• 变异系数（CV = σ/μ）：跨场景比较波动性的标尺。CV 超过 1 通常意味着数据极不稳定，AB 测试要做更长时间。
• 分位数：业务方关心 P50、P90、P99。SRE 关心 P99（慢请求），客服关心 P90（长尾工单），电商关心 P50（典型订单）。

31.2.2 置信区间与显著性

均值只是一个点估计，置信区间告诉你这个点估计有多不靠谱。

95% 置信区间的实际含义是：如果重复抽样 100 次，有 95 次的区间会覆盖真值。FDE 在向客户报告"转化率提升 3%"时，必须同时给出置信区间，例如"提升 3%（95% CI: 1.2%–4.8%）"，否则 3% 可能是噪声。

显著性（p 值）是置信区间的另一面：p < 0.05 意味着"如果原假设为真，观察到当前结果或更极端结果的概率小于 5%"。但 FDE 必须警惕三个误区：

1. p 值不等于效果大小。一个 100 万样本里 0.1% 的提升也能 p < 0.05，但业务上毫无意义。
2. 多重比较会膨胀 p 值。如果同时测 20 个指标，至少有一个"显著"的概率是 1 - 0.95^20 ≈ 64%。要做 Bonferroni 校正或控制 FDR。
3. p 值Hack。反复试不同样本窗口直到 p < 0.05，是学术造假也是 FDE 现场常见的自欺。

31.2.3 相关不等于因果

这是统计学最老的梗，但每年都有 FDE 在客户现场踩坑。经典案例：冰淇淋销量和溺水人数高度相关，但因果变量是气温。FDE 在做归因分析时必须问三个问题：

• 是否有第三方混杂变量？
• 是否存在反向因果（业务结果反过来影响"原因"）？
• 是否是巧合（时间序列上的伪相关）？

判断因果的金标准是随机对照实验（RCT），做不到 RCT 就要用 31.6 节的因果推断方法。

31.2.4 幸存者偏差

"我们调研了 1000 个使用 AI 写代码的开发者，发现他们的效率提升了 40%。"——这句话的陷阱是：那些用 AI 写代码后被裁掉、被劝退、自己放弃的人根本没进样本。FDE 在做客户回访、效果追踪时，必须问"没回访到的人在哪、他们的结果可能是什么"。

实操方法：追踪漏斗的每一层流失。从"接触模型"到"完成业务动作"的每一步，记录流失人数和流失原因，而不是只看最终成功的人。

31.2.5 辛普森悖论

同一份数据，整体看 A 比 B 好，分组看 B 比 A 好。经典案例：加州大学伯克利分校研究生录取，整体看女性录取率低于男性（性别歧视），但按院系分组后，女性录取率反而在多数院系更高——原因是女性更爱申请录取率低的院系。

FDE 在做分群分析时必须强制做分层统计：先按客户类型、渠道、时段分层，再下结论。否则就会在客户现场给出一个"上线后被业务方拆穿是反的"的结论。

31.3 评估指标体系

31.3.1 分类指标

二分类是 FDE 最常遇到的场景（是否流失、是否欺诈、是否转化）。四个基数：TP（真阳）、FP（假阳）、TN（真阴）、FN（假阴）。由此衍生：

指标	公式	适用场景	陷阱
准确率 Accuracy	(TP+TN)/总数	类别均衡	类别极度不均衡时失真（欺诈率 0.1%，全判负也有 99.9%）
精确率 Precision	TP/(TP+FP)	假阳成本高（误判正常用户为欺诈）	召回会低
召回率 Recall	TP/(TP+FN)	假阴成本高（漏判欺诈）	精确会低
F1	2·P·R/(P+R)	精确召回均衡	不区分两类错误成本
AUC	ROC 曲线下面积	阈值无关、整体评估	不反映校准、高 AUC 不等于业务好用

FDE 实操要点：

• 类别极度不均衡时（正样本 < 5%）禁用准确率，必须看 PR 曲线和 AUC。
• 业务成本不同时用代价矩阵：假阳成本 C_FP、假阴成本 C_FN，优化目标是最小化 C_FP·FP + C_FN·FN，而不是最大化 F1。
• AUC 是离线指标，不是上线指标。AUC 0.92 的模型上线后可能因为校准问题（输出概率不准）和阈值设置不当而毫无业务价值。

31.3.2 回归指标

预测连续值（销量、价格、停留时长）的指标：

• MAE（平均绝对误差）：对异常值不敏感，业务含义直观（平均预测偏差多少单位）。
• RMSE（均方根误差）：对大误差敏感，惩罚预测严重偏差的样本。金融、风控场景更看重 RMSE。
• MAPE（平均绝对百分比误差）：可跨量纲比较，但真实值接近 0 时爆炸。
• R²（决定系数）：模型解释了多少方差。R² = 0.8 不等于"模型 80% 准确"，只是"比均值预测好 80%"。

FDE 的经验法则：MAE 和 RMSE 都要报，业务方看 MAE，技术方看 RMSE。

31.3.3 排序指标

推荐、搜索、客服候选答案排序场景：

• MRR（Mean Reciprocal Rank）：第一个正确答案的倒数排名的平均。适合"用户只看第一个"的场景。
• NDCG（归一化折损累积增益）：考虑位置折损和相关度分级。适合"用户会看前几条"的场景，是搜索推荐的事实标准。
• Hit Rate@K：前 K 条中是否有正确答案。RAG 系统常用 Hit Rate@5。

31.3.4 LLM 评估指标的特殊性

LLM 让传统指标几乎全部失效：

• BLEU / ROUGE 已过时。它们基于 n-gram 重叠，对同义改写、语序变化、长文本生成都不友好。一个高质量的摘要可能 BLEU 分很低（因为换了表达），一个机械重复的输出可能 BLEU 分很高。
• 传统分类指标对 LLM 几乎无用。LLM 输出是开放文本，没有固定的 TP/FP。
• 当前主流做法：
  • 忠实度（Faithfulness）：生成内容是否忠于上下文。用 RAGAS、TruLens 等框架，把生成内容拆成原子陈述，逐条验证是否可由上下文支持。
  • 相关性（Relevance）：生成内容是否回答了问题。用 LLM-as-judge（GPT-4 级别模型当裁判）打分。
  • 人工评估仍是金标准：抽样 100-200 条，由标注员按 rubric 打分，计算 Cohen's Kappa 验证标注一致性。
  • 业务指标高于一切：客服机器人看解决率，写代码助手看 PR 合入率，文档问答看用户是否二次提问（二次提问多 = 没答好）。

FDE 必须向客户讲清楚："模型在 GLUE 上 SOTA"和"这个模型能帮你们省多少客服人力"是两个完全不同的问题。

31.4 AB 测试方法论

AB 测试是 FDE 最强的说服武器，也是最常被用错的工具。

31.4.1 假设设计

原假设 H0：新方案与旧方案无差异。备择假设 H1：新方案优于旧方案。FDE 必须在实验前就写好假设、主指标、次指标、护栏指标（guardrail，防止新方案伤害其他业务）。

31.4.2 样本量计算

样本量由四个量决定：基线转化率 p、最小可检测效应 MDE、显著性水平 α（通常 0.05）、统计功效 1-β（通常 0.8）。公式（双比例 z 检验近似）：

n_per_group ≈ 16 × p × (1-p) / MDE²

实操要点：MDE 不要拍脑袋设太大（"我要看到 50% 提升"），否则永远测不出显著差异；也不要设太小（"我要看到 0.1% 提升"），否则样本量爆炸。FDE 要先把 MDE 翻译成业务语言："我们关心的最小业务改善是转化率绝对提升 1 个百分点"，再去算样本量。

31.4.3 分流与随机性

• 用户级分流：同一用户始终在同一组。适合大多数 C 端场景。
• 会话级分流：同一用户不同会话可能不同组。适合一次性行为（如支付）。
• 设备级 / 账号级：B 端场景要注意，一个企业账号下几百个员工不能分到不同组（污染）。
• 哈希分流：用 hash(userId) % 100 < 50 进入实验组，避免顺序偏差。

31.4.4 AB 测试的常见陷阱

1. 偷看（peeking）：实验没结束就每天看 p 值，看到显著就停。这会让 α 失控，实际假阳率远超 5%。要用序贯检验（sequential testing）或事先约定观察窗口。
2. 辛普森悖论：实验期间流量构成变了（比如新用户占比上升），整体看新方案好，分组看新方案差。必须分层复核。
3. 网络效应 / 溢出：滴滴的司机端实验会传染到乘客端，纯随机分流失效。要用集群随机（按城市分）或时间片轮换。
4. 短期效应 vs 长期效应： novelty effect（新功能上线初用户好奇，效果虚高）和 wear-out effect（用户习惯后效果衰减）。重要实验要跑 2-4 周，并设"留存组"（holdout）长期观察。
5. 样本比例失衡：分流后实际两组人数与设计不符，往往是日志丢失或分流逻辑 bug，必须先修复再做分析。

31.5 特征工程的统计视角

31.5.1 特征选择的三种范式

• 过滤法（Filter）：用统计量筛特征。方差阈值（去掉方差接近 0 的）、相关性阈值（去掉与目标相关性极低的）、卡方检验（分类问题）、互信息（捕获非线性关系）。优点是快，缺点是忽略特征间交互。
• 包裹法（Wrapper）：用模型本身评估特征子集。前向选择、后向消除、递归特征消除（RFE）。优点是贴合模型，缺点是慢。
• 嵌入法（Embedded）：L1 正则（Lasso）天然做特征选择、树模型的 feature importance、SHAP value。生产环境最常用。

31.5.2 共线性问题

两个特征高度相关（|r| > 0.8）会让线性模型的系数变得不稳定、可解释性丧失。检测方法：相关矩阵、VIF（方差膨胀因子，VIF > 10 视为严重共线）。处理方法：删除其一、PCA 降维、或改用树模型（树模型对共线性不敏感但可解释性也差）。

31.5.3 IV 与 WOE：风控场景的标配

在信贷风控场景，特征筛选的工业标准是 IV（Information Value）和 WOE（Weight of Evidence）：

• WOE：对一个分箱后的特征，WOE = ln(该箱好客户占比 / 该箱坏客户占比)。WOE 把任意类型特征（连续、类别）统一编码成"好坏比的对数"，并处理了缺失值。
• IV：IV = Σ (该箱好客户占比 - 该箱坏客户占比) × WOE。IV 衡量一个特征对好坏分类的区分度。经验阈值：IV < 0.02 几乎无区分度，0.1–0.3 中等区分度，> 0.3 强区分度，> 0.5 可能过拟合或数据泄漏，要警惕。

FDE 在金融场景必须能和风控同事用 IV/WOE 语言对话，否则连特征列表都拿不到。

31.5.4 目标泄漏（Target Leakage）

最致命的特征工程错误。特征里混入了"未来才知道的信息"。经典案例：用一个"是否住院"的特征去预测"是否患重病"，结果准确率 99%——因为患病才会住院。FDE 在做特征工程时必须画时间线：每个特征的取值时间必须早于标签时间，且特征生成逻辑在生产环境中可复现。

31.6 因果推断基础：评估 AI 的真实业务影响

AB 测试是金标准，但很多场景做不了 AB 测试（不能给一半客户停用 AI 客服）。这时要用因果推断。

31.6.1 潜在结果框架

每个客户都有两个潜在结果：Y(1)（用了 AI 的结果）、Y(0)（没用 AI 的结果）。因果效应 = Y(1) - Y(0)。问题是我们只能观察到一个。因果推断的核心是用各种假设和工具估计"反事实"。

31.6.2 双重差分（DID）

适合"政策型"干预：某地区/某时段上了 AI，其他地区/时段没上。

DID = (实验组后 - 实验组前) - (对照组后 - 对照组前)

第一项是实验组的总变化（含趋势），第二项是自然趋势，相减得到因果效应。关键假设：平行趋势假设——如果没有干预，实验组和对照组的变化趋势一致。FDE 必须画出干预前的趋势图验证这个假设，否则 DID 不成立。

31.6.3 合成控制（Synthetic Control）

只有一个实验对象（如某城市、某大客户），找不到合适对照组。做法：用未干预的多个对象的加权组合"合成"一个虚拟对照组，权重使其在干预前与实验对象高度一致。经典案例：研究加州烟草税效果时，用其他州加权合成"假加州"。FDE 评估大客户 AI 项目时，可用合成控制估算"如果这个客户没上 AI，现在业务指标应该多少"。

31.6.4 倾向得分匹配（PSM）

观察数据做不了随机化时，用倾向得分（一个客户被分配到实验组的预测概率）把实验组和对照组做匹配，构造"准随机"样本。缺点：只能控制可观测变量，不可观测混杂仍然存在。

31.6.5 为什么 FDE 要懂因果推断

因为客户最关心的是"这个 AI 项目到底值不值"，而"值不值"本质是反事实问题——"如果我们没做这个项目，现在会怎样"。离线指标、上线指标都回答不了这个问题，只有因果推断能。能拿出一个 DID 或合成控制分析的 FDE，在客户高层汇报时的话语权远超只会报 AUC 的同行。

31.7 数据可视化与故事化

31.7.1 可视化的三个层次

• 探索层（给自己看）：快速画分布、散点、热力图，发现异常和模式。工具：matplotlib、seaborn、plotly。要点是快、糙、猛，别追求好看。
• 分析层（给团队看）：突出对比、趋势、相关性。要点是清晰，去掉一切装饰。
• 说服层（给客户/老板看）：把数据变成故事。要点是"一张图说一个观点"。

31.7.2 数据故事化的 STAR 结构

• Situation（背景）：业务现状。"你们的客服月均处理 12 万工单，平均时长 8 分钟。"
• Tension（张力）：当前痛点。"但 P90 时长 25 分钟，长尾客户满意度只有 62 分。"
• Action（行动）：做了什么。"我们部署了 AI 工单分类 + 知识库检索。"
• Result（结果）：量化改善。"P90 时长降到 12 分钟，长尾满意度升到 81 分，每月节省人力成本约 18 万。"

每一步都要有数据支撑，每张图都要服务于这四步中的一步。

31.7.3 可视化的红线

• 不要用 3D 饼图、不要用双 Y 轴折线：视觉欺骗重灾区。
• 不要截断 Y 轴：把 Y 轴从 95 开始画到 100，让 1% 的波动看起来像翻天覆地。
• 颜色不超过 5 种：颜色多了等于没颜色。
• 每张图必须有标题、轴标签、单位、数据来源：缺一个就被客户质疑专业性。

31.8 防被数据骗的批判性思维

FDE 在客户现场每天都在被数据轰炸。批判性思维清单：

第一，问样本。任何指标都要问"这个样本怎么来的、有没有选择性偏差"。供应商说"我们的客户平均效率提升 35%"，先问样本是谁、是不是只有成功的客户才被纳入。

第二，问口径。"准确率 98%" 用的是哪个测试集、测试集分布和生产分布是否一致、阈值定在哪里。换一个阈值，准确率可以从 60% 跳到 95%。

第三，问基线。"AI 让转化率提升 20%"，基线是多少、基线怎么测的、有没有同时期的自然趋势。如果行业整体在涨 15%，AI 只贡献了 5%。

第四，问时间窗口。"上线后客户满意度大幅提升"，是不是刚好赶上促销季、是不是 novelty effect、有没有可能下个月就回落。

第五，问反事实。最尖锐的问题："如果我们没上这个 AI，现在会怎样？" 答不上来就不能说 AI 有效。

第六，问利益相关方。一份漂亮的数据报告，背后是谁出的钱、谁有动机让它好看。FDE 不是要怀疑一切，而是要知道"数据不会说谎，但选择展示哪些数据本身就是一种立场"。

第七，自己复现一遍。最有效的批判性思维是动手。供应商给一份 dashboard，FDE 拿到原始日志自己算一遍，差异往往出现在最不起眼的过滤条件上（"我们排除了异常工单"——什么算异常？排除了多少？）。

一名合格的 FDE 不是数据科学专家，但必须是数据批判专家：能算、能解释、能识破、能说服。这四件事缺一件，都会在客户现场翻车。

本专题小结

1. FDE 不必会训练大模型，但必须内化一套统计与评估素养，否则在数据驱动的客户现场没有话语权。
2. 核心统计概念：分布先于均值、置信区间先于点估计、因果先于相关、分层先于整体、追踪漏斗先于看幸存者。
3. 评估指标体系按任务类型选择，分类看精确召回 AUC、回归看 MAE/RMSE、排序看 NDCG、LLM 看忠实度与业务指标，传统 BLEU/ROUGE 已过时。
4. AB 测试是 FDE 最强说服武器，但要严守样本量计算、分流随机、不偷看、分层复核、留 holdout 五条纪律。
5. 特征工程要从统计视角审视，重点防共线性、目标泄漏，金融场景必须掌握 IV/WOE。
6. 因果推断（DID、合成控制、PSM）是评估 AI 真实业务影响的核心工具，能拿出反事实分析的 FDE 在高层汇报中拥有压倒性话语权。
7. 数据可视化分探索、分析、说服三层，说服层用 STAR 结构，红线是不做视觉欺骗。
8. 批判性思维是 FDE 的护城河：问样本、问口径、问基线、问时间窗口、问反事实、问利益相关方、自己复现。

本专题来源

• Palantir / OpenAI / Anthropic FDE 公开招聘 JD 与技术博客中对"统计素养""实验设计"的硬性要求。
• 业内主流 AB 测试平台（Optimizely、GrowingIO、火山引擎 DataTester）的方法论文档。
• 因果推断经典教材：Pearl《Causality》、Imbens & Rubin《Statistical Methods for Causal Inference》、Cunningham《Causal Inference: The Mixtape》。
• 风控特征工程工业实践：Siddiqi《Credit Risk Scorecards》、LendingClub 与蚂蚁风控团队公开技术分享中的 IV/WOE 实践。
• LLM 评估前沿：RAGAS、TruLens、OpenAI Evals、HELM benchmark 文档；Zheng et al. "Judging LLM-as-a-Judge with MT-Bench"。
• 经典统计陷阱案例：Berkeley 性别录取（Bickel et al. 1975）、加州烟草税合成控制（Abadie et al. 2010）、Simpson 悖论汇编。
• FDE 驻场交付实践沉淀：金融、零售、客服三类场景中客户对"效果量化""反事实分析""数据故事化"的现场反馈。