艾丹·戈麦斯：Cohere联合创始人，AI领域的先驱者

Cohere联合创始人艾丹·戈麦斯（Aidan Gomez） 图片来源：多伦多大学

Aidan Gomez，一位颇具盛名的AI专家，同时也是Cohere公司的联合创始人和共同创始人。在Google Brain项目中，他是极少数能够创造出Transformer算法的研究者之一。在本次交流中，他分享了自己的研究经历以及他所创立的初创公司Cohere，这家公司正是基于他之前的工作而建立的。

在加拿大度过了童年之后，戈麦斯前往多伦多大学继续深造。在大二时，他对人工智能产生了浓厚兴趣，进而开始深入研究相关领域的论文，表现出强烈的机器学习和数学热情。

“我变得痴迷，我就是日夜不停地阅读论文，”他回忆说。“我会带着一篇研究论文入睡。”

他在文献中一直看到一个名字——杰夫·辛顿（Geoffrey Hinton ）——他的附属机构也是多伦多大学，尽管辛顿早已停止教学。戈麦斯通过电子邮件与他联系，向辛顿提出一个小技术问题。令他惊讶的是，辛顿回应了他，这位世界上最著名的AI研究者向一个当时还是匿名的本科生解释了一个普通的问题。

在本科学习阶段，戈麦斯曾有幸成为硅谷——科技创新领域的中心的一员，那里他作为实习生加入了知名的Google Brain团队。在那个充满活力的环境中，他与众多顶尖聪明的科学家和工程师共同工作，其中包括在谷歌TensorFlow模型框架开发过程中发挥了关键作用的Lukasz Kaiser。

原内容表达了一种观点，即Kazer希望将所有由机器学习研究者编写的数据集整合到单一的模型中，从而确保其在输入和输出层面上都具备多模态的特点。为了更全面地阐述这一观点，我们可以从以下几个方面进行展开。首先，Kazer主张将不同研究者所编写的人工智能模型融合到一个系统中，这样做有助于实现模型的多元化。通过整合各种不同的模型，可以使得系统在处理问题时具有更广泛的能力，从而提高其泛化能力和适应性。其次，多模态意味着系统能够在处理信息时考虑到多种因素的影响。这对于许多现实世界的问题来说都非常重要，因为现实情况往往非常复杂，很难用一种单一的方法来解决。因此，将不同模型的优点结合起来，可以让我们的系统更加全面地理解问题，并找到更有效的解决方案。最后，将数据集整合到模型中，也有助于促进机器学习领域的发展。当更多的数据被应用到模型训练中，模型的性能往往会得到提升，这不仅能够推动研究的进展，还能够为实际问题的解决提供更多可能性。综上所述，Kazer的观点是，将所有由机器学习研究者编写的数据集整合到单一的模型中，可以使模型在输入和输出方面都具备多模态的特点。这种方法不仅可以提高系统的适应性和泛化能力，还可以促进机器学习领域的发展。

为推动项目的进展，戈麦斯倾力打造了一套名为Tensor2Tensor的软件基础设施，其作用在于在众多GPU之间分配繁多的计算任务。他进一步解释道，这套基础设施主要面向自回归模型，尤其是那些依赖注意力的模型。据悉，Google翻译团队中的一个小组对基于注意力的自回归模型也颇感兴趣。得益于Lukasz的努力，他们被说服加入Tensor2Tensor项目，并在该平台上搭建起了这一模型。

在接下来的十周里，我们全力以赴地投入到这个模型的制作中。“得益于我们取得的显著成果，压力自然加大”，戈麦斯回忆道，“这是一个具有巨大潜力的早期成功案例，具备大规模扩展的能力。借助我们强大的大规模GPU集群，该模型实现了令人瞩目的性能提升。”

“没人在睡觉；我每天工作14个小时编码，建设这个基础设施，使它更为健壮，运行实验，这就是我们得到变压器算法的方式。”

现在，Transformer算法只有大约20行代码。基本层是一个多层感知器（MLP），Transformer实际上只是一些堆叠在一起的MLP和一个注意力层。在Transformer之前，有这些非常复杂的LSTM架构，没有统一的架构。有了Transformer，所有这些都被拆除，留下的是简单的、表现良好的、可扩展的“内核”东西。

Transformer算法为先进的自然语言处理打开了大门，使机器能够理解和生成类似人类的语言。OpenAI的首席科学家Ilya Sutskever立即利用它建立了第一个生成预训练Transformer模型——GPT，现在已经发展到第四代GPT-4。Transformer引领了正在改变世界的生成AI革命。

戈麦斯接着共同创立了一家公司，Cohere，目的是使人们能够接触到这种变革性的算法和围绕它构建的大型语言模型。Cohere致力于使LLM（大型语言模型）尽可能地实用和有用，以满足不同的垂直任务和行业的需要。

戈麦斯大部分时间都没有参与关于生成式AI（AIGC）对人类的威胁的辩论。但考虑到AI近期的显著进步，戈麦斯表示，越来越难以否认机器获得感知能力的想法。

随着AI感知潜力的展现，戈麦斯强调了负责任开发和伦理考虑的重要性。他呼吁AI社区以保护人类价值、隐私和社会福祉的承诺来面对进步。他相信，通过培养对AI开发的深思熟虑和透明的方法，我们可以减少风险，最大化它所提供的好处。