《千模大战揭晓：揭秘中国最聪明的国产大模型》

打开凤凰新闻，查看更多高清图片

在国内的“千模大战”中，哪个大模型最聪明的问题，近期得到了《麻省理工科技评论》的解答。他们发布了一份最新的大模型评测报告，揭示了答案。

根据报告，在涉及600道题目的一级大类测试及盲评过程中，讯飞星火认知大模型V2.0在6个一级大类中表现最为出色，其得分为81.5分（以百分制计算），成为本次评测中的佼佼者，因此荣获了“最聪明”的国产大模型之称。

图：大模型评测综合得分率

图：4个大模型各项能力雷达图

《麻省理工科技评论》对中国各大研发和商业化能力、外部评价以及发展前景进行了全面评估，以期挑选出“最优秀”的国产大型语言模型。在评估过程中，我们选择了“讯飞星火”、“百度文心一言”、“商汤商量”和“阿里通义千问”这四个中文大模型平台作为代表，对其进行了系统和科学的评测。

本次评测使用的测试集包含600道题目，覆盖了语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共 8 个一级大类，126 个二级分类，290个三级标签，并针对问题的丰富性和多样性做了优化。

在题目类型方面，我们考虑到了既定量又定性的评价和测试需求，因此设计了“单选”、“多选”、“填空”以及“简答”四个不同的题型，它们的题目数量分别为145道、138道、136道和181道。此外，我们的大型模型评测体系采用了盲评的方式，这样可以更客观地评估我国国产大模型的智能水平。

语言专项评测是基于大模型基础能力构建的一种测试方式，其内容包括对话理解、多语种、讽刺、古诗词理解、文本生成、要点总结、情感分析和语义判断等六个主要方面，共计61个二级分类。其中，简答题为主要题型。据最新数据显示，讯飞星火的得分为85.73%，显著高于其他考生，名列第一。这一成绩充分展示了讯飞星火在大模型基础上所具备的卓越的语言处理能力。

图：语言专项评测得分率

作为一位专业的文章写作高手，我会将原文进行重新组织，使其表达更为准确且具有深度。原内容主要讲述了数学专项评测在“最聪明”大模型中的重要性，以及评测的具体内容和形式。为了更好地展现这一主题，我将分为以下几个部分进行论述：首先，“最聪明”大模型的核心能力在于其强大的数学运算和问题解决技巧。为了确保其智能水平的优秀表现，进行定期的数学专项评测显得至关重要。这些评测不仅能够检验大模型的数学实力，也是对其整体性能的一种衡量方式。其次，评测的内容涵盖代数、几何、解方程、复杂数学、统计学等多个领域，这充分体现了评测的全面性和深入性。其中，选择题作为主要形式，既能够快速有效地评估大模型的数学素养，也能让评测过程更加简洁高效。最后，评测的结果可以作为优化和提升大模型数学能力的参考依据。通过对评测数据的分析，我们可以发现大模型在哪些方面表现优厚，在哪些方面还需要改进。这种针对性的反馈，有助于进一步提升“最聪明”大模型的智能水平和应用价值。综上所述，数学专项评测在“最聪明”大模型中扮演着举足轻重的角色。它不仅可以检验大模型的数学实力，也是对其整体性能的重要衡量标准。通过定期的评测，我们可以及时发现并优化大模型的数学能力，从而进一步提升其在各个领域的应用效果。

在众多测试数据中，讯飞星火的得分率为77.75%，远远高于平均水平的56%，足见其在此次评估中的卓越表现。值得注意的是，在大模型的普遍“数学能力较弱”的情况下，讯飞星火能够取得这样的成绩实属难得。进一步观察会发现，其在数学专项上的优势不仅在二级分类的评分结果中体现得淋漓尽致，更是在77.8%的二级分类中独占鳌头，远超其他平台。因此，我们可以初步推测，讯飞星火在几何与情景应用方面有着出色的表现。

图：数学专项评测得分率

在评估大型人工智能模型的“智能水平”方面，理科综合评测扮演着至关重要的角色，它涵盖了五个主要领域：化学、生物、物理、医学以及表格问答。这五个领域全面地体现了大型模型在各个领域的专业知识和技能。在题型方面，评测主要采用单选题和简答题的形式，以考核学生在这些领域的理解和应用能力。

评测结果中，讯飞星火 78.50% 的得分率排名第一。另外，讯飞星火在理科综合大类下 80% 的二级分类评测中得分率为第一，化学与生物较为突出。

图：理科综合评测得分率

逻辑思维也是“最聪明”大模型的重要体现，本次逻辑思维评测在逻辑推理、思维链等方面设计了较多的题目，包含类比、常识推理、空间方位、演绎推理、逻辑谬误检测、因果推理等 19 个二级分类，题型上相对平均，其中填空题最多，多选题最少。

在逻辑思维题目中，讯飞星火81.25%的得分率名列第一，明显高于 72.6% 的平均值。此外，讯飞星火在逻辑思维 63.2% 的二级分类问题上得分率第一。逻辑思维对于大模型真正理解物理世界相当重要。

图：逻辑思维评测得分率

编程能力是大模型比较高阶的能力，本次的编程能力评测包含 ASCII、ASCII码识别、Python、代码、代码修正、计算机 6 个二级分类，其中 Python 主要以简答形式评估大模型的代码生成能力和正确率，其他则以客观题的形式考察。

结果显示，讯飞星火 80% 的得分率明显高于 71%的平均值，其他平台得分率基本相当。值得一提的是，在许多人关心的生成代码的简答题单项上，讯飞星火的得分率高达 82%，远高于其他平台，表现颇为亮眼。

图：编程能力评测综合得分率

作为比较难的评测维度，综合知识对大模型的“聪明”程度要求也很高，涉及的题目较杂，包含百科问答、常识、科学知识、事实问答、工作技巧、谜语等 13 个二级分类，题型以多选为主。

在综合知识评测上，讯飞星火 80.61% 的得分率排名第一，在 84.6% 的二级分类上得分率第一，初步显示出在百科问答和历史人文上的“过人之处”。

图：综合知识评测得分率

报告指出，在本轮大模型评测中，讯飞星火以81.5 分的成绩拔得头筹，成为“最聪明”的国产大模型。

讯飞星火在编程能力、理科综合、逻辑思维、数学专项、语言专项和综合知识这 6 个一级大类中得分率排名第一，在此次评测中表现十分全面，尤其是在代码生成、数学能力、理科与逻辑等方面优势明显，是本次“最聪明的理科生”。

值得一提的是，从题型角度来看，主观简答题中讯飞星火凭借 83.98% 的得分率位居第一；而在客观题上，讯飞星火以 75.7% 的得分率排名第一，在主客观体型中均有良好表现。

此外，就在8月12日，新华社研究院中国企业发展研究中心发布的《人工智能大模型体验报告2.0》中，讯飞星火V1.5以总分1013分位列本次国产主流大模型测评榜首位，在四大评测维度中的智商指数和工具提效指数两个维度获得第一，《报告》认为讯飞星火“在工作提效方面优势明显”。

在刚刚过去的8月15日，讯飞星火认知大模型V2.0如期发布，进一步突破代码能力和多模态能力。技术获得重大突破的同时，搭载讯飞星火V2.0核心能力的应用和产品也越来越丰富：既有辅助程序员高效工作的智能编码助手iFlyCode1.0、能够进行视频创作的讯飞智作2.0、能够便捷搭建轻应用的教育数字基座应用开发助手，还有帮助教师设计教学活动、一键生成课件的星火教师助手、面向英语学习者口语练习的星火语伴2.0，讯飞AI学习机也升级AI 1对1智能编程助手和AI 1对1创意绘画伙伴。此外，科大讯飞还和华为联合发布星火一体机，让每一家企业都有机会构建专属大模型。