金飞工作室

阿里云发布开源模型Qwen2,宣称性能超美国最强开源模型Llama3-70B

2024年06月07日 18:52 
  阿里云更新技术博客:重磅发布全球性能最强的开源模型Qwen2-72B。据介绍,该模型性能超过美国最强的开源模型Llama3-70B,也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。所有人均可在魔搭社区和Hugging Face免费下载通义千问最新开源模型。
 
  相比2月推出的通义千问Qwen1.5,Qwen2实现了整体性能提升,代码、数学、推理、指令遵循、多语言理解等能力大幅提升。在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench等国际权威测评中,Qwen2-72B斩获十几项世界冠军,超过美国的Llama3。
 
  据介绍,Qwen2系列包含5个尺寸的预训练和指令微调模型,Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B,其中Qwen2-57B-A14B为混合专家模型(MoE)。Qwen2所有尺寸模型都使用了GQA(分组查询注意力)机制,以便让用户体验到GQA带来的推理加速和显存占用降低的优势。
 
  据悉,通义千问Qwen系列模型正在全球爆火,总下载量一个月内翻了一倍,已突破1600万次。全球开源社区已经出现了超过1500款基于Qwen二次开发的模型。Qwen系列的72B、110B模型多次登顶HuggingFace 的Open LLM Leaderboard开源模型榜单。
TAG:阿里云
  电话咨询