原文摘要

本文回顾了2023年GPT-4发布以来大型语言模型（LLM）领域的发展。

原文链接

进一步信息揣测

• GPT-4的真实参数量成谜：业界推测其参数量高达1760B（1.76万亿），但OpenAI始终未官方确认，刻意保持架构和训练细节的保密性，强化了“规模至上”的行业错觉。
• CloseAI的透明度争议：OpenAI因拒绝公开GPT-4的架构、硬件配置、训练数据等核心信息，被戏称为“CloseAI”，引发对AI巨头技术垄断的担忧，同时迫使其他企业依赖反向工程或高成本试错。
• Scaling Laws的隐性陷阱：尽管“更大规模=更强能力”是2023年的主流叙事，但实际中盲目堆参数可能导致边际效益递减，且中小机构因算力门槛被边缘化，这一教训后来被行业逐步修正。
• 上下文窗口扩展的工程秘密：GPT-4的32K上下文窗口并非单纯靠参数增加实现，可能涉及内存优化、注意力机制改进等未公开技术，此类细节通常需通过内部工程师交流或付费研究才能获知。
• 模型性能提升的非线性成本：GPT-4在律师考试等场景的跃升（从后10%到前10%）背后是数据清洗、对齐微调等隐蔽工程，而非仅靠模型规模，这些关键步骤在技术报告中均被模糊化处理。
• 行业跟风风险：GPT-4发布后，许多团队盲目追求参数量竞赛，后证实部分“万亿模型”实际性能未达预期，反映出公开论文与真实落地间的巨大信息差。