“中国企业追赶GPT大模型的速度到底有多快？”这个问题很多人都很关心。7月21日，在火山引擎出品的访谈节目V-Moment中，火山引擎总裁谭待、智谱AI CEO 张鹏、华泰证券技术部联席负责人王玲和润米咨询创始人刘润就这个问题展开了讨论，得出的结论是，国产大模型有望年底追上GPT3.5。
谭待认为，应该把追赶过程分成三个阶段。
第一个阶段，是“从无到有”，也就是“从0到1”。
第二个阶段，经过不断的迭代，加入更多有意义的数据，调大更多参数，还有更大的算力，让整个模型达到或者超过GPT3.5。
第三个阶段，是要更进一步。参数从千亿要到万亿，覆盖更多领域，达到和超越GPT4甚至更高。
谭待表示，GPT3.5的水平，基本上能拿到SAT考试前30%的名次，相当于可以考上美国重点大学。同时，OpenAI也在不断演进，如果是GPT4参考，就不只是前30%了，而是可以拿到前10%，达到长青藤水平。现在，国内创业公司走的比较快，基本上已经度过第一阶段，正在第二阶段攻坚的过程中。我预计在今年下半年，Q3晚些或Q4的时候，很可能会有做的比较好的企业出来，其实也标志着国内的基座大模型已经到了比较好的水准，过了第二阶段，慢慢大家就可以启动到第三阶段。
张鹏则表示，我们评价大模型一般看“相对水平”。从评测数据集的角度，大家都能刷到百分之百，这个评测数据集基本上就没有意义。但我们会看leader board排行榜，不同评测集上，大家的表现会有一些参差。
他举例到，比如去年一个权威的评测报告里边，智谱AI的基座模型、迁移的几种模型和GPT3相比，在100多项评测的水平线上来比较有胜有负，基本上持平，表现非常不错。如果用一个百分比来说明和GPT3.5的差距，那些评测的结果综合起来，大约相当于GPT3.5的百分之八十左右。这么看，到年底中国的大模型还是很有机会能够到100%的GPT3.5水平。
事实上，作为GPT-3的升级版本，GPT-3.5在自然语言处理领域取得了令人瞩目的成就，采用了海量的数据训练，具有超过1750亿个参数。相比于GPT-3，GPT-3.5在语言理解、生成和推理等方面表现更为出色，其能够进行更加复杂的自然语言处理任务。
但从技术基座的角度来看，GPT3.5相较于GPT3，最大的变化也只是通过真实的调用数据以及人类反馈的强化学习进行训练。而在这方面，国内大模型与之相比，从技术角度并不存在代差，追赶起来其实也并不像很多人想象的那么难。从谭待、张鹏的发言来看，年底追上GPT3.5，还是可以期待的。
Related posts
