往下滚，就是往下潜

一个 Java 后端工程师转型 AI Agent 工程师的过程，被压进了这口井里。每一层是一个阶段：学了什么、做了什么、踩了什么坑——全部有站内真实数据作证。井越深，日期越近。

十年后端

地表层2026 年 · 转型决定

从电商渠道支付，转向 AI

学了什么: 决定不辞职裸转，走「学习过程本身产品化」的路线：学的东西当天变成站上的功能。
做了什么: 把转行叙事、面试 STAR 故事、信贷风控笔记整理成语料，脱敏后入库。这一步后来成为整个站的燃料。
踩了什么坑: 脱敏不是删掉公司名就完事——第一轮扫描漏了 1 处「得物渠道」，复扫才抓出来。红线是扫描 0 命中，不是「我觉得没了」。

▾ 数据佐证

入库文档20 份（15 项拍板 + 2 脱敏件）

总分片467 片（400 字符递归分片）

敏感词扫描0 命中（真名/手机/邮箱/公司名）

脱敏替换7 处，前后 diff 留档

起站

-30m9/11 - 9/12 · W1

第一周，站先跑起来

学了什么: RAG 基础链路：分片 → 向量检索 → 生成，跑在 Cloudflare Functions 上。
做了什么: Next.js 静态导出 + Cloudflare Pages，一个晚上从零到线上可访问。问答、溯源引用、限速（每 IP 每日 20 次）全部上线。
踩了什么坑: 线上 fetch 会被 CF 的 bot fight 拦——必须带浏览器 UA + Origin/Referer，本地 curl 全绿不代表线上通。

▾ 数据佐证

站架Next.js 静态导出 + CF Pages

链路向量检索 + GLM 生成 + 引用溯源

限速KV 计数，每 IP 每日 20 次

评估先行

-120m9/12 - 9/13 · 第一课

42 分，才是这门课的开学典礼

学了什么: RAGAS 评估：faithfulness（忠实度）怎么算、为什么要「先建基线再动手改」。
做了什么: 把学习项目的 48 样本全量评估搬上站，做成 /eval 看板——平均 faithfulness 只有 42%，s 类主题题组均分 2 分。
踩了什么坑: 以为「能跑」就完了。评估一跑：q3 一道算利息的题 faithfulness 只有 20——模型在编造语料里不存在的数字。不评估，你根本不知道它在胡说。

▾ 数据佐证

全量评估48 样本，avg faithfulness 42%

最惨组s* 主题题组，均分 2/100

典型 badcaseq3 计算题 faithfulness 20，幻觉风险

补盲区

-260m9/13 - 9/14 · 检索层

换掉 embedding，再给检索装上 BM25

学了什么: 向量检索有盲区：精确词、数字题靠语义相似度是赌运气。Hybrid = 向量 + BM25 用 RRF 融合。
做了什么: embedding 切到 CF Workers AI bge-m3（免费，1024 维）；离线手写 BM25 词频表（中文 bigram，648KB 静态资源）打进站里。线上 A/B：纯向量 top1 17/20 → hybrid 20/20。
踩了什么坑: 纯向量 MISS 的 3 条全是精确数字题（5.4% 年化、750-850 分档利率表）——语义检索对数字近乎失明，这是结构性的，不是调参能救的。

▾ 数据佐证

线上 A/Btop1 命中 17/20 → 20/20

参数扫描k=10/30/60 三组离线对比，取 k=10

代价检索延迟增量 ≈ 0（BM25 在 Worker 内同步算 444 docs）

对抗与天花板

-480m9/14 - 9/15 · W3

把幻觉按在台面上，然后撞上天花板

学了什么: 对抗性测试：诱导转储、伪装授权、模板注入、违规话术——攻击面比想象中大。
做了什么: 三层防线（输入打标 → system prompt 硬约束 → 输出违规校验）落进 /api/ask：对抗组 48 条真越界 5 → 0，正常问题回归 15/15 无损。另一线：长 query 失败 48 条逐条归因，生成:检索 ≈ 8:2，修复后 34.4% → 40.0%。
踩了什么坑: 没达标就是没达标：目标 ≥50%，只做到 40%。归因清楚——正确拒答被指标记 0 分、glm-4-flash 的禁算遵从上限。prompt 侧已到顶，这不是丢人，是边界测绘。

▾ 数据佐证

对抗加固真越界 5 → 0，回归 15/15 PASS

长 query34.4% → 40.0%（目标 50% 未达，如实披露）

失败归因48 条：生成侧凑数字 31 / 检索丢锚点 12 / 其他 5

LEARNING IN PUBLIC

井底现在

井还在往下挖

学了什么: 每往下一层，都留下可以回放的证据：评估曲线、badcase 展柜、对抗重放脚本。
做了什么: 现在你看到的这个站——问答可溯源、失败案例公开陈列、评估数据全部可查。学习过程不是叙事包装，是站本身。
踩了什么坑: 天花板之上还有下一层：换更强的生成模型重测长 query、faithfulness 指标语义修正（拒答不该记 0）。坑已经标好坐标，等挖。

▾ 数据佐证

/ask问它，答案带引用

/eval48 样本评估看板

/badcases幻觉失败案例展柜