GROK 4 发布

Grok 4 发布

• 今天看了 Grok 4 的发布会视频。
• 马斯克说，从 Grok 2 出发，到 Grok 3 加大了10倍的预训练数据量，从 Grok 3 到 Grok 4 增加了10倍的 RL推理 训练量。
• 在解决【人类最终测试题】的挑战中可以达到惊人的44.4%。
• XAi 团队介绍说，目前的 Grok 4 是在第一性原理的基础上在使用工具去解决问题。
• 目前在训练时就把工具使用融合进去了，所以工具使用能力非常强大。
• 并且目前仅仅使用了比较初步的工具；马斯克提到未来将可以使用类似于有限元模拟这样先进的工具，并且可以和现实世界作比较，今年晚些时候可以做到这一步。
• Grok 4 HEAVEY 在 Grok 4 的基础上自动生成 MOE 协同工作。
• 目前对于 Grok 4 训练来说，瓶颈在于找不到好的问题来问了。马斯克接话说：现实世界的问题是最好的问题，例如如何改进汽车的设计，如何让火箭进入轨道。当某个世界模型能够使用有限元软件，做出预测，然后和实验结果做对比时，确实应该可以做出实用的成果。
• 马斯克认为今年年底 Grok 4 就能发现有用的新技术，明年就会发现新的物理定律！
• 马斯克说目前 Grok 4 的缺点是视觉方面还比较弱，目前正在训练改进。
• 定价300$/Mo，看来计算资源确实很高。