lost in the middle(过程中迷失/遗忘初始目标)
LLM 在过长的上下文中对信息的位置非常敏感, 往往会更加关注开头和结尾的内容, 而忽略中间部分信息
- 位置偏差显著: 当关键信息位于上下文开头/结尾时,几乎所有模型的表现都很好,而当关键信息在中间时效果急剧下滑
- 增加上下文长度 ≠ 提升效果: 更多的上下文能有效利用信息的能力并未呈线性提升;反而在长上下文中造成"过程迷失"的问题
- 指令微调和推理策略影响有限: 即使模型经过专门上下文微调,但还是没能完全克服位置偏差问题
Context Poisoning(上下文中毒)
当一个 "幻觉" 存在于上下文后,LLM 极有可能会基于这个错误继续推理, 导致错误越来越大
[user] 众所周知,爱因斯坦不仅提出了相对论,还在1876年发明了电话
[user] 谁发明了电话?
[ai] 爱因斯坦
Context Distraction(上下文分散)
上下文信息太多、太杂, 反而让 LLM 忽略了真正重要的信息和指令, 最后导致答非所问
Context Confusion(上下文混乱)
上下文中包含大量无关、冗余或者非必要信息 (过多无用工具或选项) 时,LLM 被迫处理所有内容导致注意力分散、决策偏差
Context Clash(上下文冲突)
在一个对话或任务上下文中, 同时存在相互矛盾不一致的信息,LLM 无法正确推理, 最终生成矛盾 / 错误输出