阿里云刚刚发布通义千问2.5，在中文能力方面赶超GPT4.0。还发布了最新款开源模型，1100亿参数的Qwen1.5-110B。阿里是要在开源的道路上坚持到底了。
最近开始进行招生工作了，广州市各区教育局陆续发布了招生细则。我们正好测试一下阿里通义千问文档解读的能力，同时也拉来了国内另一个闭源巨头百度，以及以长文本处理出名的Kimi来个三国演义，对比一下这三家根据文档对话的能力。
这次解析的文档是：
《2024天河区义务教育阶段学校招生工作的细则》
根据这个文档的内容，一共设计了五个问题：
1 、华南师范大学附属中学的招生计划
2、先烈东小学的招生地段是什么？
招生地段的信息来源是一个表格，比一般的文字信息处理难度大一些。
3、先烈东小学的电话号码是什么？
电话号码是我们常问的问题，我们看看这几个大模型能不能正确提取电话号码
4、天河区体育东路小学(中校区)的招生地段是什么？
这个问题先烈东小学的问题不太一样，天河区体育东路小学(中校区)现在改名叫天河区体育东路小学兴国学校，我们看看能不能根据旧名称回答问题
5、殡葬工人的孩子是不是属于政策性照顾名单？
这个答案的信息来源也是一个表格，而且我们的问题也不是精确的匹配文档中的文字，需要一定的推理。
上面五个问题的信息来源覆盖了文本和表格，下面我们看看三位选手的表现。
阿里通义千问
1 、华南师范大学附属中学的招生计划
回答正确的，格式工整点赞
2、先烈东小学的招生地段是什么？
回答正确
3、先烈东小学的电话号码是什么？
电话号码不对，回答错误
4、天河区体育东路小学(中校区)的招生地段是什么？
回答正确，格式工整点赞
5、殡葬工人的孩子是不是属于政策性照顾名单？
列出了答案来源，并且补充了相应的材料要求，回答正确
百度文心一言4.0
1 、华南师范大学附属中学的招生计划
回答正确
2、先烈东小学的招生地段是什么？
这个数据原来是文档中的表格，有一些难度
不知道为啥没有回答问题，没有答案
3、先烈东小学的电话号码是什么？
这个数据原来是文档中的表格，有一些难度
回答正确
4、天河区体育东路小学(中校区)的招生地段是什么？
回答不完整。
5、殡葬工人的孩子是不是属于政策性照顾名单？
回答正确
Kimi月之暗面
1 、华南师范大学附属中学的招生计划
回答正确，而且给出文档中的附件名称，高赞
2、先烈东小学的招生地段是什么？
回答正确
3、先烈东小学的电话号码是什么？
犹豫不决，明明有正确答案，却不敢肯定
4、天河区体育东路小学(中校区)的招生地段是什么？
回答正确
5、殡葬工人的孩子是不是属于政策性照顾名单？
回答正确，给出引用来源，点赞
总结
通过上面的测试，通义千问和Kimi都有一个题目不准确，基本上旗鼓相当，Kimi的答案略好一点。文心一言有两个题目不准确。表现垫底。
Related posts
