20250708-Karpathy:我不是要造新词,是「上下文工程」对_Agent_来说太重要了

原文摘要

一文讲清楚「上下文工程」。

原文链接

进一步信息揣测

  • 上下文工程的核心价值未被公开强调:决定AI应用效果的关键已从“如何提问”转向“提供什么数据”,但行业普遍仍过度关注提示词(Prompt Engineering),而低估了数据质量与上下文完整性的重要性。
  • 实践中的隐性成本:高质量上下文的获取和整理需要大量资源(如人工标注、领域知识整合),这部分成本常被低估或未在公开讨论中提及,导致实际落地时效果不及预期。
  • 行业内部共识未普及:尽管DeepMind、LangChain等机构已形成“上下文优先”的共识,但中小团队仍依赖传统提示词优化,缺乏对上下文工程的系统性投入。
  • 付费墙后的专业知识:LangChain等工具的高级功能(如动态上下文加载、多源数据融合)需付费或深度定制,公开文档中仅提供基础用法,实际高效应用需内部经验或顾问支持。
  • 数据敏感性的隐藏风险:上下文工程可能涉及用户隐私数据或商业机密,但公开案例常回避讨论数据清洗与脱敏的具体方法,导致合规隐患。
  • 模型厂商的未明限制:主流大模型(如GPT-4)对上下文长度的实际处理能力存在隐性衰减(如后段信息权重降低),但厂商未明确说明,需通过实验测试才能发现。
  • 捷径工具的非公开使用:资深从业者会利用小众工具(如LlamaIndex优化检索)或私有API(如OpenAI的上下文压缩接口)提升效率,但这些信息仅限内部交流或高价咨询。
  • 社群资源的真实价值:文中提到的“AI产品市集”社群可能隐含未公开的行业人脉、早期项目内测机会或非正式合作渠道,远超表面宣传的“新品资讯”。