放进去不等于用上了:长上下文模型为何会迷失在中间
从 U 形位置曲线、注意力竞争与内部位置偏差出发,解释长上下文模型为何容易忽略中间信息,以及 Agent 和 RAG 应如何重排、压缩并回查证据。
TOPIC ARCHIVE
共 6 篇文章,按发布时间由近到远排列。
从 U 形位置曲线、注意力竞争与内部位置偏差出发,解释长上下文模型为何容易忽略中间信息,以及 Agent 和 RAG 应如何重排、压缩并回查证据。
从官方模型文档、Codex 源码和 GitHub issue 拆开 105 万、37.2 万、35.34 万与 33.48 万,解释 Codex 为什么没有直接开放完整上下文。
深入分析 Flow 的编排机制,以及 BatchNode、ParallelBatchNode、BatchFlow 的批处理实现。
深入分析 BaseNode 的三阶段生命周期设计,以及 Node 类的重试机制实现。
介绍 PocketFlow.js 的设计理念,以及 Node 和 Flow 两大核心抽象的基本概念。
整理一下对 LLM 工作原理、核心能力与边界的理解,作为后续 AI 系列笔记的起点。