文章主题：讯飞星火, 大模型评测, 国产大模型, 能力评测
原标题：大模型权威报告：讯飞星火得分第一
来源：央广网
《麻省理工科技评论》发布的最新大模型评测结果显示，我国讯飞星火认知大模型V2.0在8个一级大类的600道题目测试及盲评中，以出色的表现征服了 evaluators。在各大类别中，该大模型的得分均位居首位，尤其在6个大类中的表现尤为抢眼。因此，讯飞星火认知大模型V2.0以81.5分（满分100分）的优异成绩，成功登上了“最聪明”的国产大模型宝座，展现了我国人工智能领域的强大实力。
4个大模型各项能力雷达图(央广网发 科大讯飞供图)
《麻省理工科技评论》对中国各大研发和商业化能力、外部评价以及发展前景进行了全面评估，以期发掘并认可“最聪明的”国产大模型。其中，“讯飞星火”等被视为中文大模型平台的代表，我们对其展开了深入且系统的评测。
在本次评测中，我们的测试集包含了共计600道题目，涵盖了语言能力、数学能力、理科综合、文科综合、逻辑思维、编程技能、综合知识以及安全性等八个主要领域，其中包括了126个二级分类和290个三级标签。为了保证题目的丰富性和多样性，我们在设计测试集时特意进行了优化，使得各类别的问题都能得到充分的体现。
在题目类型方面，我们考虑到了既定量又定性的大范围需求，因此精心设计了四个主要题型：“单选”、“多选”、“填空”以及“简答”，它们分别包含145道、138道、136道和181道题目。此外，我们还采用了盲评的方式，以客观公正地评估我国国产大模型的智能水平。
作为大模型智能的基础能力之一，语言专项评测涵盖了对话理解、多语种、讽刺、古诗词理解、文本生成、要点总结、情感分析、语义判断等61个二级分类，主要形式为简答。根据最新数据显示，讯飞星火的得分为85.73%，远高于平均水平，显然表现最为出色。
作为一位专业的文章写作高手，我会对原始内容进行重新组织，使其表达更为准确、清晰和有深度。数学专项评测是“最聪明”大模型评估的重要方面。本次评测涵盖了代数、几何、解方程、复杂数学、统计学等9个二级分类，主要采用选择题形式进行评估。
在众多测试数据中，讯飞星火的得分率以77.75%的高分位列榜首，这一表现远超平均水平的56%，显示出其在学术竞赛中的卓越实力。值得注意的是，在大模型的普遍“数学能力较弱”的情况下，讯飞星火能够取得这样的成绩实属难得。进一步观察会发现，其在数学专项上的优势不仅在二级分类的评分结果中体现得淋漓尽致，更是在77.8%的二级分类中独占鳌头，远远超过其他竞争对手。因此，我们可以初步推测，讯飞星火在几何和情境应用方面的表现尤为突出。
在评估大型人工智能模型的“智能水平”方面，理科综合评测扮演着至关重要的角色，它涵盖了表格问答、化学、生物、物理以及医学等五个主要的二级类别，主要题型为单选题和简要回答问题。
评测结果中，讯飞星火78.50%的得分率排名第一。另外，讯飞星火在理科综合大类下80%的二级分类评测中得分率为第一，化学与生物较为突出。
逻辑思维也是“最聪明”大模型的重要体现，本次逻辑思维评测在逻辑推理、思维链等方面设计了较多的题目，包含类比、常识推理、空间方位、演绎推理、逻辑谬误检测、因果推理等19个二级分类，题型上相对平均，其中填空题最多，多选题最少。
在逻辑思维题目中，讯飞星火81.25%的得分率名列第一，明显高于72.6%的平均值。此外，讯飞星火在逻辑思维63.2%的二级分类问题上得分率第一。逻辑思维对于大模型真正理解物理世界相当重要。
深度评测(央广网发 科大讯飞供图)
编程能力是大模型比较高阶的能力，本次的编程能力评测包含ASCII、ASCII码识别、Python、代码、代码修正、计算机6个二级分类，其中Python主要以简答形式评估大模型的代码生成能力和正确率，其他则以客观题的形式考察。
结果显示，讯飞星火80%的得分率明显高于71%的平均值，其他平台得分率基本相当。值得一提的是，在许多人关心的生成代码的简答题单项上，讯飞星火的得分率高达82%，远高于其他平台，表现颇为亮眼。
作为比较难的评测维度，综合知识对大模型的“聪明”程度要求也很高，涉及的题目较杂，包含百科问答、常识、科学知识、事实问答、工作技巧、谜语等13个二级分类，题型以多选为主。
在综合知识评测上，讯飞星火80.61%的得分率排名第一，在84.6%的二级分类上得分率第一，初步显示出在百科问答和历史人文上的“过人之处”。
报告指出，在本轮大模型评测中，讯飞星火以81.5分的成绩拔得头筹，成为国产大模型的第一名。
此外，就在8月12日，新华社研究院中国企业发展研究中心发布的《人工智能大模型体验报告2.0》中，讯飞星火V1.5以总分1013分位列本次国产主流大模型测评榜首位，在四大评测维度中的智商指数和工具提效指数两个维度获得第一，《报告》认为讯飞星火“在工作提效方面优势明显”。
在刚刚过去的8月15日，讯飞星火认知大模型V2.0如期发布，进一步突破代码能力和多模态能力。技术获得重大突破的同时，搭载讯飞星火V2.0核心能力的应用和产品也越来越丰富。 返回搜狐，查看更多
责任编辑：
讯飞星火, 大模型评测, 国产大模型, 能力评测
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
Related posts
