阿里云通义千问70亿参数大模型Qwen-7B与Qwen-7B-Chat开源生态活跃

作者 | 周愚

编辑 | 邓咏仪

在这场国内大模型的“百模大战”中，开源生态正在日趋活跃。

在8月3日这个特殊的日子里，我国AI模型社区魔搭ModelScope迎来了一次盛大的更新，正式上架了两大热门开源模型——Qwen-7B和Qwen-7B-Chat。经过阿里云的严格验证，这两款模型被确认为通义千问70亿参数通用模型和对话模型，并且现在都已经对外公开，可以免费使用，同时允许商业化应用。这种开放、免费、可商用的精神，充分体现了我国对人工智能技术共享和应用的推动，也预示着未来AI领域的发展趋势。

至此，阿里云称已经成为国内首个开源自家大模型的大型科技企业。

来源：阿里云

在具体的参数设置方面，Qwen-7B基座模型能够兼容中英文等多语种，经过在超过2万亿token的数据集中进行训练，其上下文窗口长度可达8k。此外，该模型还具备开源代码支持，可以实现对Qwen-7B以及Qwen-7B-Chat的量化处理。这使得用户能够在消费级显卡上进行模型的部署和运行。

用户有两个途径可以获取和使用魔搭社区提供的模型：其一，可以直接从魔搭社区下载；其二，是通过阿里云灵积平台，访问并调用Qwen-7B以及Qwen-7B-Chat。阿里云提供一站式服务，涵盖了模型训练、推理、部署和精调等环节。

原内容主要表达了开源作为对比闭源模型的有效途径这一观点，并以 Meta 旗下的 Llama 2 为例进行了说明。该文提到，Llama 2 上个月开源并免费开放，商业领域同样可以使用，因此一经推出便被认为是最强大的开源大模型。现在，我们将在保留原有信息的基础上，对该内容进行改写和扩展。开源作为一种策略，旨在迅速迎头赶上现有的闭源模型。在近期，Meta 公司旗下的 Llama 2 项目在上个月开源，并且允许免费使用，这使得它成为了商业领域的强大竞争对手。Llama 2 的出现，标志着开源技术在大型模型开发中的地位日益重要，也为其他公司提供了借鉴和发展的机会。开源不仅能够促进技术的共享和进步，还能降低开发成本和时间。通过开源的方式，开发者可以更容易地获取原始代码、数据和算法，并进行修改和优化。这种方法还可以鼓励社区参与，共同改进和维护项目，从而提高其质量和可靠性。对于企业而言，采用开源策略可以节省时间和资源，同时也能借助于开源社区的智慧和力量，加快创新的速度。在当前的数字时代，开源已经成为了一种趋势和潮流。越来越多的公司和开发者选择开源他们的项目和代码，以此来推动技术的发展和应用。在这个过程中，不仅可以提高整个行业的竞争力，还可以为用户带来更好的产品和服务。因此，我们应该积极支持和推广开源运动，让更多的人参与到开源社区中来，共同创造更美好的未来。

在我国，一些重要的AI模型，如百川智能的Baichuan-7B和清华大学与智谱AI的ChatGLM2-6B，已经成为了AI创业公司中一股不可忽视的力量。这些开源的行动，无疑对大型企业产生了深远的影响。在此之前，我国的许多大型企业倾向于不开放源代码。然而，现在，阿里巴巴的通义千问也开始开源，这无疑标志着大型企业对于大模型思考方式的一次重大转变。

其实，阿里云的开源战略早有端倪，为通义千问的开源做出了铺垫。

上架通义千问开源模型的魔搭ModelScope,是由阿里云于去年11月初牵头发起的AI模型社区。至今,该平台已经汇集了来自20多家人工智能机构所贡献的超过1000款开源模型,吸引了超过160万名开发者的参与,并且模型下载量已经突破了2500万次。

在今年6月举行的2023开放原子全球开源峰会上，阿里云还公布了“1+4”开源战略。除魔搭社区外，阿里云还将聚焦操作系统、云原生、数据库、大数据等四大开源领域。

开源的同时，阿里云也公布了通义千问7B预训练模型在多个权威基准测评中的表现。

在英文能力测评基准MMLU上，通义千问7B模型得分超过一众7B、12B、13B主流开源模型。在中文常识能力测评基准C-Eval上，通义千问在验证集和测试集中也都是得分最高的7B开源模型。

在数学解题能力评测GSM8K、代码能力评测HumanEval上分别得分51.6、24.4，超过所有同等尺寸和部分大尺寸开源模型。来源：阿里云

附开源地址：

魔搭Model Scope：

https://modelscope.cn/models/qwen/Qwen-7B/summary

https://modelscope.cn/models/qwen/Qwen-7B-Chat/summary

Hugging Face：https://huggingface.co/Qwen

GitHub：https://github.com/QwenLM/Qwen-7B