端侧大语言模型的春天

今年春季将会是端侧大语言模型的春天；
老一代的端侧大语言模型，如 gemma2、Phi3、lamma3.1、Qwen2.5，性能和70b、100b以上的大模型相比，输出质量有很大的差别，只能算作一个玩具；
由 deepseek-r1 32b、QwQ 32b 为首的新一代端侧大语言模型，采用了蒸馏、强化学习、推理链等，水平则逼近甚至超越了GPT4o等上一代旗舰模型，最重要的是，这些训练方法和权重全部是公开的；
在此基础上，微软推出了Phi4 14b，谷歌推出了gemma3 27b，Mistral推出了Mistral small 3.1 24b，将端侧大语言模型的水平不断提升；
在不远的将来，也许就是今年上半年，端侧，也就是可以在本地消费级终端上部署使用的大语言模型的水平，即使在知识的广度和精度上无法和云端那些超大规模的旗舰大模型相媲美，但借助外部的知识库，也可以做到只是极其细微的落后。

所以奥特曼才会那么着急，上书美国政府要求将DeepSeek作为第二个华为对待，进行全面封杀；
奥特曼原以为通过卷模型规模可以形成护城河，并通过限制中国企业拿到计算卡，保持美国在AI上的领先；
结果倒逼中国企业另辟蹊径，在效能上实现突破；
端侧大语言模型的进化可以说是革了云端超大模型的命，如果端侧大语言模型具备足够强大的推理思考能力，那么借助外部知识库，就可以逼近甚至达到云端超大模型的水平；那时就没人会再花大价钱去购买OpenAI的服务。

个人愚见