在 AI 技术飞速发展的当下，Gemini 系列的长上下文优势备受关注，尤其是 Gemini 2.5 Pro 在 AI Coding 等领域的出色表现，为应用落地带来全新可能。谷歌 DeepMind 长上下文预训练联合负责人 Nikolay Savinov 在访谈中，深度剖析了长上下文技术的核心要点、研究瓶颈及未来走向。
长上下文的核心价值与机制
上下文窗口是输入到大型语言模型的信息载体，包含提示、历史交互或上传文件等。模型存在 “权重内记忆”（预训练知识）和 “上下文内记忆”（外部输入信息），后者可灵活更新事实、补充私人信息与罕见知识，缓解模型幻觉问题。长上下文能提升信息覆盖率，减少不同知识源的竞争冲突 。
RAG 与长上下文的协同关系
RAG 作为预处理技术，通过将知识库向量化并匹配查询，为 LLM 提供相关上下文。在处理企业级海量信息时，RAG 不可或缺。长上下文与 RAG 协同，可放宽检索阈值，提高信息召回率。不过，应用程序的延迟要求会限制二者结合的效果 。
长上下文对推理与 Agent 的重要性
长上下文与推理能力紧密相连，增加上下文长度既能提升简短答案预测准确性，又可通过反馈机制突破模型 “网络深度” 限制，助力复杂任务推理。在 Agent 应用中，长上下文帮助 Agent 记录交互信息，同时 Agent 也可自动整理上下文，简化用户操作 。
长上下文的使用与优化建议
长上下文的输入和输出能力本质相通，但需通过合理校准避免模型提前结束输出。开发者应善用上下文缓存，在固定上下文场景下，将问题置于末尾可降低成本、提高效率；结合 RAG 处理超大规模信息；避免无关内容干扰，并通过设计提示词解决不同知识源的矛盾 。
长上下文评估的变革方向
“大海捞针” 式评测已无法满足研究需求，当前应聚焦包含强干扰因素、多关键信息检索的任务，同时关注需整合上下文信息的文本总结等任务。不过，这类任务的自动化评估因主观性强面临挑战，优化模型时宜优先选择评判标准明确的指标 。
长上下文技术的未来展望
短期内，提升百万级上下文质量是关键，这将解锁更多超越人类能力的应用场景；中长期来看，随着成本降低，千万级上下文将成标准，彻底革新编码等领域；而达到亿级上下文，则需深度学习领域的重大创新。硬件与算法的协同突破，以及推理工程的持续投入，是推动长上下文发展的核心动力 。