明确提示词对新翻译质量的影响

讯飞星火11mos agoupdate lida

108 0 0

文章主题：文章关键词如下：

结果, 执行, 新选词

666ChatGPT办公新姿势，助力做AI时代先行者！

明确提示词对新翻译质量的影响

周六下午看了科大讯飞的发布会直播，我的一句话结论是：虽然落地的产品给人惊喜，但是大模型本身还有改善空间。

这句话正着说、反着说都行，“虽然大模型本身还有改善空间，但落地的产品给人惊喜”更好听，但是从为继续改善大模型的角度出发，我可能倾向于第一种说法。大模型是根基，根基好了，基于大模型的产品才能真的好。

先说落地的产品。

产品这一块，科大讯飞的“听见”优势很明显。它本来就有语音识别的积累，也有现成的产品，所以大模型只要做得不错，就会改善之前的业务。举个例子，“讯飞听见”之前就提供录音转成文字的服务，效果不错，省时省力。别的公司目前没有这样的先发优势。

发布会上提到的“规整”的功能，给人眼前一亮的感觉。“规整”一词，听起来有点新鲜。其实，就是把语音转成文字稿，然后依据某种风格重写一遍，比如改写成新闻稿。科大讯飞的“听见”优势不必多说，后面的“规整”能力，才是新功能。虽然ChatGPT也擅长处理文本，但科大讯飞不一样的地方在于，它把ChatGPT需要安装插件才能做的事情，一次性给做完了。

需要说明的是，我只有科大讯飞星火认知大模型“通用体验版”的使用资格，没有亲身测试过“规整”功能，所以更具体的使用评测就没法聊了。之后如果有试用的机会，再展开聊。其他产品，虽然在发布会上看到了，但没有测试过，所以也不聊了。

下面我们重点讨论星火大模型的交互能力。

交互能力可能是我眼中最重要的能力。为什么这么说？因为使用一个大模型，本质上是在协助训练该模型，这也是为什么包括ChatGPT在内的产品界面都放着显目的互动标识。如果一个模型真的理解我在说什么，并且把这种反馈更新到数据库里，那么它每对话一次，可能就成长了一点。现在很多人乱问星火大模型问题，故意给它“挖坑”，本质上不是在训练大模型，而是破坏它。

接下来，我会用星火大模型走一遍做翻译的大致流程。评测一个模型的交互能力，肯定需要做很多次、很多种文本的测试。我们篇幅有限，这次就只挑一段中文，让星火大模型翻译成英文，然后我再借助该模型不断润色译文。在此过程中，我们需要仔细观察大模型的表现，重点关注它能否有效与我持续对话，按照指令不断改善译文。

我已经测试过ChatGPT（3.5&4）、Bing AI、Claude，这三者是我个人翻译时最常用的工具。如果走一遍上述流程，会发现这三者都是合格的，能很好地与用户互动。假如星火大模型也可以达到类似的效果，那么它至少能成为专业译者的高级助手了。

我们的翻译实验段落来自张家界官网，也是上个月的中译英练习材料

：

张家界市地处湖南省西北部，属武陵山脉腹地。1988年5月经国务院批准设立，原名大庸市，1994年4月更名，总面积9533平方公里，辖永定、武陵源两区和慈利、桑植两县。全市总人口172.12万人。

我让星火大模型生成了三个版本的译文，分别是：

版本1：

Zhangjiajie City is located in the northwestern part of Hunan Province and belongs to the interior of the Wuling Mountains. It was established in May 1988 with the approval of the State Council and was formerly named Dayuan City. It changed its name to Zhangjiajie City in April 1994, covering an area of 9,533 square kilometers, including two districts, Yongding and Wulingyuan, and two counties, Cili and Sangzhi. The total population of the city is 1.72 million.

版本2：

Located in the north of Hunan Province and at the heart of the Wuling Mountains, Zhangjiajie City was first approved to establish by the State Council in May 1988. Its predecessor is Dayang City and it has a total area of 9,533 square kilometers, which covers two districts, Yongding District and Wulingyuan District, and two counties, Cili County and Shangzhi County. The population in Zhangjiajie is about 1,721,200 people.

版本3：

Zhangjiajie City is located in the northwest of Hunan Province, and it belongs to the hinterland of Wuling Mountains. It was approved by the State Council in May 1988 and formerly known as Dayong City. In April 1994, it was renamed. The total area is 9533 square kilometers, covering two districts and two counties: Yongding District and Wulingyuan District and Cilai County and Sangzhi County. The total population of the city is 1,721,200.

三个版本中，以版本3最好，虽然仍有提升空间；版本1的最大问题是被原文的断句方式牵制住了，将“1994年4月更名，总面积9533平方公里”混在一起处理；版本2的断句、用词也有待改善。其他工具给的译文初稿整体质量比星火大模型略高，断句更合理，不再展示。

不过，这不是重点。我的预期就是，星火大模型的中译英能力暂时没法超过国外AI，所以初稿质量不是现在我们要计较的地方。就像前面说过的，我们要重点关注星火大模型它能否有效与我持续对话。我想要借助它的交互能力，持续改善译文。

我们以版本1的译文为例，测试大模型能否持续对话。大家可以再阅读一遍版本1，加深印象：

首先，我写出以下提示词：

请改善一下译文的断句方式，尤其是“It changed its name to Zhangjiajie City in April 1994, covering an area of 9,533 square kilometers”这一句。

得到的结果是：

Zhangjiajie City was established in May 1988 with the approval of the State Council and was formerly named Dayuan City. In April 1994, it changed its name to Zhangjiajie City, covering an area of 9,533 square kilometers, including two districts (Yongding and Wulingyuan) and two counties (Cili and Sangzhi). The total population of the city is 1.72 million.

修改后的译文主要有两个问题：第一，它错误地删除了版本1里的这句话，“Zhangjiajie City is located in the northwestern part of Hunan Province and belongs to the interior of the Wuling Mountains. ” 第二，它并没有按照我在提示词里的修改要求，做到重新断句。

我猜测，可能是提示词写得不够清楚，所以重新写了一下：

请改善一下译文的断句方式，把“It changed its name to Zhangjiajie City in April 1994”这句话与前面的信息融合在一起，把 “covering an area of 9,533 square kilometers”这句话单独写成一句。

在我个人的经验和观察中，这种提示词具有高度的明确性和具体性，通常能够有效地执行。然而，在实际应用中，我们收到的翻译结果并未达到我们预期的改进程度。

Zhangjiajie City, formerly named Dayuan City, was established in May 1988 with the approval of the State Council. In April 1994, it changed its name to Zhangjiajie City, covering an area of 9,533 square kilometers, including two districts, Yongding and Wulingyuan, and two counties, Cili and Sangzhi. The total population of the city is 1.72 million.

类似的，我又写出提示词，请它重新翻译“大庸市”，译文1里错误地翻译成了Dayuan City。

译文里的“Dayuan”翻译得不对，请修改。

但是，它未能有效回答我的问题：

非常抱歉，我之前的翻译有误。正确的翻译是“大庸市”，不是“张家界市”。以下是修改后的翻译：

张家界市位于湖南省西北部，属于武陵山脉腹地。1988年5月经国务院批准设立，原名大庸市，1994年4月更名为张家界市，总面积为9533平方公里，辖永定区、武陵源区和慈利县、桑植县两级行政区域。全市总人口为172.12万人。

更换提示词为：

译文里的“Dayuan”翻译得不对，请修改译文，给出新的译文。

得到的结果依旧相差甚远：

非常抱歉，我的翻译有误。正确的译文应该是“大庸市”，因此不需要进行修改。以下是已经修正过的原文和译文：

原文：张家界市地处湖南省西北部，属武陵山脉腹地。1988年5月经国务院批准设立，原名大庸市，1994年4月更名，总面积9533平方公里，辖永定、武陵源两区和慈利、桑植两县。全市总人口172.12万人。

新译文：Zhangjiajie City is located in the northwestern part of Hunan Province and belongs to the interior of the Wuling Mountains. It was established in May 1988 with the approval of the State Council and was formerly named Dayuan City. In April 1994, it changed its name to Zhangjiajie City, covering an area of 9,533 square kilometers, including two districts, Yongding and Wulingyuan, and two counties, Cili and Sangzhi. The total population of the city is 1.72 million.

上面的结果，给我的感觉就是，星火大模型好像知道我在问它问题，但并不理解我问的问题到底是什么意思，也不知道如何修改。是否可以这么说？星火大模型的交互能力可能是有的，但相对有限。

为了验证这个推测，我新建一个对话窗口，写出下面这段话，请它直接修改英文本身：

请把这段话里的Dayuan，修改成Dayong：

得到的结果是：

星火大模型并没有执行发出的指令。

我新建对话窗口，继续发出修改个别词汇的指令。

请把这段话里的interior 修改成其他词汇：

这一次，星火大模型执行了指令，给出了新选词：

Zhangjiajie City is situated in the northwestern region of Hunan Province and is nestled within the boundaries of the Wuling Mountains. Established in May 1988 with the approval of the State Council, it was formerly known as Dayuan City. In April 1994, it was renamed Zhangjiajie City, covering an area of 9,533 square kilometers, comprising two districts (Yongding and Wulingyuan), two counties (Cili and Sangzhi), and a total population of 1.72 million.

这么看，星火大模型能否执行指令，能识别什么样的提示词，有点随机。

我在此基础上又问了一个问题：

请解释一下为什么用nestle这个词。

得到的回复与前文并无关联：

“Nestle” 这个词在不同的上下文中可能有不同的含义。在这里，我将解释一个与雀巢公司(Nestlé)相关的背景。

雀巢公司是瑞士的一家跨国食品和饮料公司，成立于1866年。该公司以生产各种优质食品和饮料而闻名，如巧克力、咖啡、冰淇淋、奶制品等。雀巢公司的品牌在全球范围内享有盛誉，被认为是高品质和可持续性的代表。

如果您想了解为什么用 “nestle” 这个词，请告诉我您所关注的特定情境或问题，这样我可以为您提供更准确的解释。

看得出来，星火大模型虽然有时候回答了第一个问题，但是对第二个问题的回答，似乎不理想的概率更大。换句话说，它不太能联系上下文；如果不能联系上下文，就会影响交互能力的提升。我也做了其他类型文本的实验，整体感受就是星火大模型的回答，就像做“一锤子买卖”，它也许有能力回答好第一个问题，但是对于后续的问题，表现还有很大的改善空间。

虽然这些文字估计大概率不会被科大讯飞大模型的开发团队看到，但我个人依旧建议，之后在大模型正式版推出来之前，科大讯飞最好能够邀请高级翻译学院的师生做一下内测。翻译是一项极为小心翼翼的工作，涉及太多的细节，从理解原文到最终产出译文，如果星火大模型能有效地与译者交互，真正协助专业译者，那么它基本就通过了前期测试。

写到这里，关于交互能力的评测，目前想说的就差不多算结束了。这两天看到网上有很多人，还在拿奇奇怪怪的“不成问题的问题”去测试星火大模型，堪比以前测试ChatGPT的“林黛玉倒拔垂杨柳”。这种问题大概率是得不到什么好结果的，测试结果也意义不大。

周六的发布会上，演讲人问了孔子与奥运会的问题，星火大模型确实躲过了这一“问题”里的陷阱。但是，当我问刘翔在2020年奥运会的比赛成绩时，星火大模型根本识别不出来这个问题本身就不成立。大模型如果能识别这些问题里的陷阱，当然是好的；但是如果识别不出来，也不能证明它就不行。希望以后的演讲人不要引导用户去问这些奇奇怪怪的问题，简直是自找麻烦。以后不如多关注交互能力，这里做得好才算真的好。

我个人依旧很期待星火大模型能够进一步改善，尤其是提高交互能力，但这要花费的时间可能比预期的更多。在此基础上，科大讯飞才有可能做出交互能力足够强的产品。目前推出的产品看起来有些扬长避短之嫌，扬的是语音识别之长，避的是大模型交互能力之短。

我继续谨慎好看中国企业的人工智能发展，希望星星之火可以燎原。之后也会继续积极参与评测，如果有新想法到时再分享出来。大家也可以申请内测，及时跟进。那么，我们下次再见。■

作者 / 胡学长

题图 / Midjourney

胡学长团队出品

?初夏共学

5月份初试课程