原文摘要

不知不觉，deepseekr1的那篇技术报告过去半年了，“遇事不决上强化”的风气也没有年初那么夸张了。或多或少，大家都陆续回归到sft和rl混合使用的传统路线了

原文链接

进一步信息揣测

• RLHF热潮退却：行业初期“遇事不决上强化”的盲目跟风现象已降温，主流团队回归SFT（监督微调）与RL混合的务实路线，说明RLHF并非万能解，需结合场景权衡。
• 小作坊RL实践价值：Skywork等中小团队的技术报告更接地气，披露了资源有限条件下的RL实操细节（如数据规模、训练成本），而大厂报告（如Qwen3）常隐藏核心强化细节，形成信息壁垒。
• 资源差距的隐性门槛：头部团队（如DPsK、Seed）拥有GPU集群、专业标注团队和模型调用特权，而小团队只能聚焦技术认知积累，难以复现前沿效果，揭示行业资源垄断现状。
• RL目标分层：不同团队目标差异显著——头部追求技术壁垒，小团队侧重技术跟进行业，爱好者则优先发论文，反映RL领域内卷下的生存策略分化。
• RLHF的隐藏成本：报告暗示RLHF实际消耗远超公开数据（如标注质量、reward模型迭代成本），小团队需通过“混合路线”降低成本，避免陷入资源陷阱。
• 技术共享的稀缺性：Skywork开源代码和细节的做法在业内罕见（对比大厂保密倾向），提供了一条“技术影响力换资源”的潜在路径，可能吸引合作或投资。