原文摘要

上下文工程来了

原文链接

进一步信息揣测

• 上下文工程的核心是信息取舍艺术：工业级应用中，上下文窗口的填充需精确平衡信息量——太少导致模型性能下降，太多则增加成本并可能降低效果，这需要专业判断而非简单堆砌。
• 大模型心理学直觉至关重要：成功运用上下文工程需理解模型如何“解读”人类输入，这种直觉类似心理学技巧，属于非公开经验，通常通过实践或内部交流获得。
• RAG（检索增强生成）的隐藏门槛：外部信息检索看似简单，实则涉及数据清洗、多模态整合及压缩技术，未公开的细节（如信息压缩算法）直接影响成本与效果。
• 模型调度内幕：工业级应用会动态调用不同模型（如成本/性能权衡），但具体调度策略（如何时切换模型、预取机制）属于企业级机密，公开文档极少提及。
• 安全控制的灰色地带：实际部署中，安全验证常涉及敏感逻辑（如内容过滤规则、用户行为监控），这些设计通常不会公开讨论，但能避免法律风险。
• “厚重软件栈”的隐藏复杂度：LLM应用背后存在一整套未公开的中间件系统，处理并行执行、状态管理等，其开发成本远超外界想象的“ChatGPT包装器”。
• 性能评估的行业黑箱：企业内部的模型评估指标（如响应延迟、错误率阈值）和调优方法（如A/B测试框架）通常保密，但直接影响产品成败。
• 工具链的付费壁垒：高效上下文工程依赖专业工具（如上下文压缩库、多模态处理器），但顶尖工具多为企业自研或高价订阅，开源替代品效果差距显著。