填补国内空白阿里云通义千问720亿参数模型开源北京日报客户端2023-12-01 22:55北京日报客户端2023-12-01 22:55

64 0 0

北京日报客户端 | 记者孙奇茹

12月1日，阿里云举办通义千问发布会，开源通义千问720亿参数模型Qwen-72B。Qwen-72B在10个权威基准测评创下开源模型最优成绩，性能超越国际开源标杆Llama 2-70B和大部分商用闭源模型，未来，企业级、科研级的高性能应用也有了开源大模型这一选项。

据悉，Qwen-72B基于3T tokens高质量数据训练，在10个权威基准测评中夺得开源模型最优成绩，在部分测评中超越闭源的GPT-3.5和GPT-4。英语任务上，Qwen-72B在MMLU基准测试取得开源模型最高分；中文任务上，Qwen-72B领跑C-Eval、CMMLU、GaokaoBench等基准榜单，得分超越GPT-4；数学推理方面，Qwen-72B在GSM8K、MATH测评中大幅度领先于其他开源模型；代码理解方面，Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升，代码能力有了质的飞跃。

据悉，Qwen-72B可以处理最多32k的长文本输入，在长文本理解测试集LEval上取得了超越ChatGPT-3.5-16k的效果。研发团队优化了Qwen-72B的指令遵循、工具使用等技能，使之能更好地被下游应用集成。比如，Qwen-72B搭载了强大的系统指令（System Prompt）能力，用户只用一句提示词就可定制AI助手，要求大模型扮演某个角色或者执行特定的回复任务。

此前，中国大模型市场还没出现足以对标Llama 2-70B的优质开源模型，Qwen-72B此次开源后，填补了国内高性能、高可控、高性价比的开源大模型空白，提供不逊于商业闭源大模型的选择。基于Qwen-72B，大中型企业可开发商业应用，高校、科研院所可开展AI for Science（科学智能）等科研工作。

如果说Qwen-72B“向上摸高”，抬升了开源大模型的尺寸和性能，另一开源模型Qwen-1.8B则“向下探底”，成为尺寸最小的中国开源大模型，推理2K长度文本内容仅需3G显存，可在消费级终端部署。从18亿、70亿、140亿到720亿参数规模，通义千问成为业界首个“全尺寸开源”的大模型。

阿里云CTO周靖人表示，开源生态对促进中国大模型的技术进步与应用落地至关重要，通义千问将持续投入开源，希望成为“AI时代最开放的大模型”，与伙伴们共同促进大模型生态建设。

举报/反馈