Meta发布最新开源大模型Llama 3,持续追赶OpenAI

李彦宏此前表示,开源模型将越来越落后。

图片来源:视觉中国

当地时间4月18日,Meta发布了其最新开源模型Llama 3,提供8B和70B的预训练和指令微调版本。这是目前为止最先进的开源模型,会对包括OpenAI在内的大模型公司形成强力竞争,也能够让众多依赖开源模型的人工智能公司受益。

在大盘小跌的情况下,Meta股价上涨1.54%。

根据Meta官方介绍,Llama 3在两个定制的24K GPU集群上基于超过15T的数据进行了训练——这比Llama 2使用的数据集大7倍,多4倍的代码,并且Llama 3支持8K上下文长度,是Llama 2容量的两倍。

图片来源:Meta官方

此外,Meta还放出了Llama 3两个版本与谷歌Gemma、谷歌Gemini、Mistral、Anthropic的Claude 3等竞争对手的参数对比。

对于用户来说,也能够通过Meta自己推出的Meta AI来感受Llama 3。Meta CEO 扎克伯格介绍,Meta AI 将集成到Meta旗下各大产品 WhatsApp、Instagram、Facebook 和 Messenger 顶部的搜索框中,并建立了一个网站 meta.ai,使其更易于使用。

根据Meta首席科学家Yann LeCun称,未来几个月Llama将继续推出更多版本,也将很快释放Llama 3的研究论文。英伟达高级科学家Jim Fan认为之后可能会发布的Llama 3-400B以上的版本其将成为某种“分水岭”,开源社区将能用上GPT-4级别的模型。

值得关注的是,Llama 3的推出像其此前版本一样引发了开源社区的轰动,但就在本周早些时候,百度创始人李彦宏公开表示,开源模型将越来越落后。

李彦宏称,开发者通过百度的文心4.0降维裁剪出来的更小尺寸模型,要比直接拿开源模型调出来的模型,同等尺寸下效果明显更好;同等效果下,成本明显更低。“大家以前用开源觉得开源便宜,其实在大模型场景下,开源是最贵的。所以开源模型会越来越落后。”