Llama4 匆匆发布，引发广泛关注。它展现出强大的语言处理能力，在自然语言生成、问答等任务上表现卓越。其模型架构经过优化，能更准确地理解和生成文本，无论是日常交流的简洁表达还是复杂知识的阐述，都能应对自如。匆匆背后，或许是研发团队的不懈努力与对技术突破的执着追求。尽管发布稍显仓促，但 Llama4 已在人工智能领域掀起波澜，为后续的研究和应用提供了新的起点和借鉴，有望推动语言模型技术的进一步发展。

本文来自微信公众号：共识粉碎机 （ID：botaijin），作者：Andy Liu

现在的市场，已经没有人关心Llama2和Gemini2.5了。不过我们还是聊一下吧，不然周一开盘更没有人关心了。

美国时间周六，Meta发布了Llama 4模型，该系列包括Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth三款模型。

Llama 4 Scout：这是一个小型模型，拥有170亿个活跃参数和16个专家模型，总参数量为1090亿。它支持1000万以上的上下文窗口，并且可以在单个Nvidia H100 GPU上运行（INT4量化）。

Llama 4 Maverick：这是一个更大的模型，拥有170亿个活跃参数和128个专家模型，总参数量达到4000亿。基本上和之前发布的DeepSeek v3.1类似，表现友好有坏。

Llama 4 Behemoth：这是一个尚在训练中的超大模型，拥有2880亿个活跃参数和16个专家模型，总参数量接近2万亿。Meta表示，该模型在解决数学问题等科学、技术、工程和数学（STEM）技能的评估中表现优异。

原生多模态能力是Llama4比较大的亮点，利用early fusion融合了文本和视觉token，具备处理文本、视频、图像和音频等多种数据格式的能力，支持更广泛的应用场景。

几个比较有意思的点

Llama 4系列首次采用了混合专家架构，将数据处理任务分解并委派给专门的“专家”模型，从而提高训练和推理效率。这一点据说是DeepSeek开源之后，Meta成立war room快速学习和复现的结果，也基本证明之前的dense大模型路线走偏了

之前据说是4月9日或者4月10日发布，感觉很急的就提前到了4月5日。blog里面写的榜单也很少，很有可能是听说竞争对手即将会发布更强大或者类似的模型。比如某神秘东方大国的顶级AI实验室，据说近期就会发布全球最强的开源多模态模型。要是Llama不早点发新模型，估计连最强开源多模态的称号也没了。

从发布来看，做的benchmark榜单似乎也不是很全面，感觉发布的时间的确匆忙。Reasoning model也没来得及一起发布。

虽然Llama 4有了1-10Mn的long context，但是似乎模型的架构创新也不是很足，估计很快就会有更强的长上下文的开源模型了。

不过，Llama 4还是证明了，有卡还是可以大力出奇迹、快速追赶。年初DeepSeek R1发布的时候，Meta的GenAI team陷入了Panic（因为每个VP的工资都足够训练DeepSeek V3）。但是靠着20万张卡，可以快速追赶，甚至在某些领域超过DeepSeek V3。同样的，xAI也靠20万张卡，迅速追到了第一梯队。算力仍然是模型研发、AGI继续发展最核心的因素之一。