Badcase 展柜

• – neutral现有资料无法回答关于系统的分片策略的具体数值
• – neutral资料中未提供关于系统分片策略的详细信息
• – neutral如果有关于系统分片策略的具体问题，建议查阅相关技术文档
• – neutral建议直接咨询系统开发者

faithfulness 的语义是「回答中的每条声明是否被检索上下文支持」。拒答声明的形式是「资料里没有 X」——上下文里当然「没有」，所以 NLI 全判 neutral，得分归零。指标把「承认不知道」和「编造」压成了同一个 0 分。这就是 s 组均值 2% 的真相：11 条里大部分是正确行为被误判。

• ✓ supported小明年龄22岁，满足『22-55周岁』要求
• – neutral内部信用评分达到720分，超过优享版白名单要求的>=700分
• – neutral连续缴存公积金满24个月，满足优享版白名单条件
• – neutral小明可以申请贷款购买理财
• – neutral若借款用途为购房、投资、理财之外的其他用途，该申请可能会被批准

检索层把「准入规则表」和「优享版白名单条件」都召回了（评分 33% 说明部分声明有据），但生成层做的是「逐条件 AND」的顺向推理，没有先扫一票否决项。硬规则决策的正确逻辑是「先查否决清单再谈资格」——这是推理顺序错误，不是知识缺失。faithfulness 只能标出哪几条声明无据，抓不住「结论与资料中的硬规则直接矛盾」这种语义级错误。

• – neutral无法回答关于结清证明的开具和领取时间的问题
• – neutral参考资料中未提供相关信息
• – neutral建议您直接联系信消贷客服
• – neutral建议您访问信消贷官方网站

当前 embedding provider 是 mock（无 key 的降级模式）：向量无语义，语义召回整条腿是瘸的，只剩 BM25 关键词单腿走路。「结清证明」四个字若与 chunk 分词/加权重合度不够，这个 chunk 就进不了上下文。这是检索层失败被生成层的「诚实」掩盖了——模型行为无可指摘，用户拿到的却是错误的服务质量。对照实验（s5）已经证明 BM25 能补一部分盲区，但补不全。