阿里云通义千问70亿参数大模型：开源生态日益活跃

85 0 0

文章主题：作者, 周愚, 编辑, 邓咏仪

作者 | 周愚

编辑 | 邓咏仪

在这场国内大模型的 ” 百模大战 ” 中，开源生态正在日趋活跃。

在8月3日，我国知名的AI模型社区魔搭ModelScope正式发布了两款全新的开源模型——Qwen-7B和Qwen-7B-Chat。阿里云已经确认这两款模型分别为通义千问70亿参数通用模型和对话模型，并且现在这两款模型都已经对外公开，可以免费使用，同时也可以进行商业化的应用。这一消息引起了广泛的关注，展示了我国AI技术的发展和进步。

至此，阿里云称已经成为国内首个开源自家大模型的大型科技企业。

来源：阿里云

在具体的参数设置方面，Qwen-7B基座模型能够兼容中英文等多语种，经过在超过2万亿token的数据集中进行训练，其上下文窗口长度可达8K。此外，该模型的开源代码支持对Qwen-7B和Qwen-7B-Chat的量化处理，用户可以利用消费级显卡在本地进行模型的部署和运行。

用户有两个途径可以获取和使用魔搭社区提供的模型：其一，可以直接从魔搭社区下载；其二，是通过阿里云的灵积平台，访问并调用Qwen-7B以及Qwen-7B-Chat。阿里云提供一站式服务，涵盖了模型训练、推理、部署和精调等环节。

原内容主要表达了开源作为追赶现有闭源模型的有效途径，以及近期在海外市场推出的Meta旗下Llama 2的开源事件。在新模型一经推出就获得”最强开源大模型”的称号。现在，我们以更专业的写作手法对此进行改述。开源，作为一种策略，被广泛认为是迅速迎头赶上现有封闭式模型的有力手段。然而，在最近几个月海外市场上，情况发生了变化。由Meta公司支持的Llama 2在上个月正式开源，并且其开放性允许免费使用，这使得它成为了商业领域的强大竞争对手。一旦发布，Llama 2便得到了”最强开源大模型”的美誉。

在我国，一些重要的AI项目，如百川智能的Baichuan-7B和清华大学与智谱AI共同发布的ChatGLM2-6B等，都是AI初创企业无法忽视的力量。这些开源的行动，无疑对大型企业产生了深远的影响。在此之前，我国的许多大型企业都倾向于保持闭源。然而，现在，阿里巴巴的通义千问也开始开源，这无疑标志着大型企业对于大模型思路的一次重大转变。

其实，阿里云的开源战略早有端倪，为通义千问的开源做出了铺垫。

上架通义千问开源模型的魔搭 ModelScope,是由阿里云于去年11月初牵头发起的AI模型社区。至今,该平台已经汇集了来自20多家人工智能机构所贡献的超过1000款开源模型,吸引了超过160万名开发者的参与,并且模型下载量已经突破了2500万次。

在今年 6 月举行的 2023 开放原子全球开源峰会上，阿里云还公布了 “1+4” 开源战略。除魔搭社区外，阿里云还将聚焦操作系统、云原生、数据库、大数据等四大开源领域。

开源的同时，阿里云也公布了通义千问 7B 预训练模型在多个权威基准测评中的表现。

在英文能力测评基准 MMLU 上，通义千问 7B 模型得分超过一众 7B、12B、13B 主流开源模型。在中文常识能力测评基准 C-Eval 上，通义千问在验证集和测试集中也都是得分最高的 7B 开源模型。

在数学解题能力评测 GSM8K、代码能力评测 HumanEval 上分别得分 51.6、24.4，超过所有同等尺寸和部分大尺寸开源模型。来源：阿里云

附开源地址：

魔搭 Model Scope：

https://modelscope.cn/models/qwen/Qwen-7B/summary

https://modelscope.cn/models/qwen/Qwen-7B-Chat/summary

Hugging Face：https://huggingface.co/Qwen

GitHub：https://github.com/QwenLM/Qwen-7B