原文摘要

从长期来看，LLMs 内在知识的有限性会一直存在，相应地，检索增强的需求也一直都会存在。

原文链接

进一步信息揣测

• RAG技术的隐性成本：虽然检索增强生成（RAG）能解决模型知识有限性问题，但实际部署中需要高频维护检索库（如实时更新私域数据），涉及大量工程成本和算力消耗，非头部企业可能因资源不足难以落地。
• 私域数据的灰色获取途径：部分企业为获取垂直领域数据，会通过非公开渠道购买用户行为日志或爬取竞品信息（如绕过反爬机制），这类操作通常不会公开讨论但行业内普遍存在。
• 模型微调的隐藏陷阱：用私域数据微调模型时，若数据质量差（如标注不一致）或分布偏移严重，反而会导致模型性能下降，业内常用“小样本试探+逐步增量”策略规避，但相关经验较少公开。
• DeepSearch的局限性：新兴的DeepSearch概念虽强调智能体自主性，但实际应用中易陷入“过度检索”循环（如反复调用无效API），需设计复杂熔断机制，目前仅有少数头部公司掌握优化方案。
• 强化学习的黑箱博弈：从监督微调转向强化学习后训练（RLHF）时，奖励模型的设计高度依赖专家经验，部分团队会私下购买OpenAI等公司的离职员工咨询服务以获取调参细节。
• 工具调用的隐性门槛：智能体的工具调用能力依赖API生态，但优质API（如金融、医疗领域）通常需付费或签订保密协议，中小企业常因无法接入关键API导致智能体功能受限。
• 长尾信息的商业价值：头部企业会刻意将部分长尾数据（如小众行业术语库）作为付费服务提供，形成“知识垄断”，这是未明说的盈利模式之一。
• OOD问题的实战解法：业内应对分布外问题会混合使用“数据蒸馏”（合成高价值样本）和“对抗训练”，但具体参数配置被视为商业机密，论文中通常只提框架不透露细节。