揭秘ChatGPT背后的工程师对话：技术巨头如何打造聊天巨兽？

83 0 0

文章主题：ChatGPT, OpenAI, Greg Brockman, Kevin Scott

Microsoft’s annual Build conference this year was a hub of excitement, with CEO Satya Nadella’s keynote stealing the show and leaving tech enthusiasts buzzing. However, amidst all the product announcements, one crucial conversation deserves attention – the under-the-radar dialogue that took place. This event not only showcased Microsoft’s innovation but also offered a deeper insight into their strategic priorities. Stay tuned for the insights that could shape the future of technology 🚀💻 #Build2023 #TechTrendsetter

🎉【OpenAI巨头交锋】🌟两位科技领域的重量级人物，OpenAI掌门人Greg Brockman与微软CTO Kevin Scott，今日舞台上的深度碰撞，火花四溅！💡他们就人工智能的未来趋势展开了一场激烈的讨论，引人深思。👩‍💻Brockman以其独特的视角，阐述了OpenAI对于推动智能科技的决心和愿景，他的每字每句都透露着对技术革新的热忱。👨‍💼Scott则从微软的角度，分享了如何利用云计算与人工智能的深度融合，为全球数字化转型提供强大动力。这场对话不仅揭示了行业巨头的战略布局，也让我们看到了AI技术如何塑造未来的可能性。💡🌟欲了解更多深度解析，敬请关注后续报道，让这些科技巨头的思想碰撞引领你探索未知的科技世界！🌐🚀

🌟【揭秘ChatGPT背后力量】🔍👨‍💻 Greg Brockman，这位技术巨擘，无疑是ChatGPT的核心建筑师之一，他的智慧与创新在人工智能领域熠熠生辉。👩‍💼 Kevin Scott，则是 ChatGPT工程整合的舵手，他精准的执行力和对微软生态的强大链接，让这款革命性产品得以顺利航行。两位天才携手，引领ChatGPT走向全球，他们的贡献不仅塑造了科技的新里程碑，也彰显了协作与创新的力量。欲了解更多ChatGPT背后的精彩故事，敬请关注未来的技术动态。🌍#ChatGPT #技术巨头 #工程整合

🌟【硅谷巨头背后的创新力量】🌟👨‍💻 Greg Brockman，这位OpenAI的杰出贡献者，与硅谷传奇人物一样，以独特的教育背景和创业智慧引领着科技潮流。💡 他曾是哈佛与MIT的优秀学子，却毅然选择了退学这条不寻常的道路，去追求他的科技梦想。在他的创业旅程中， Stripe 的加入是他职业生涯的重要一环，这不仅积累了宝贵的经验，也为他后来吸引并领导一支才华横溢的创始团队奠定了基础。💼OpenAI的初创团队，据说在 Brockman 精心策划和领导下，集结了众多行业精英，他们的创新思维和协作精神是公司成功的关键。👨‍💻 作为团队的灵魂人物，Brockman 不仅担任领导角色，还亲自推动了一系列前沿研究项目。他的故事告诉我们，教育不只限于书本，退学也可以成为探索未知的跳板。🚀 通过 Brockman 的努力，OpenAI 成为人工智能领域的佼佼者，他的影响力和贡献将被历史铭记。🏆#GregBrockman #OpenAI #硅谷创新精神

🌟微软首席技术官Kevin Scott，一位对科技充满热情的行业巨头，他的职业之路始于谷歌，随后在关键时刻加入LinkedIn，以其卓越才能帮助公司在IPO前实现了惊人的平台扩容速度，成功助力公司上市。这位被誉为“领英救星”的工程师，其才华和贡献不言而喻。微软收购领英后，他迅速晋升为CTO的高位，展现了他在技术领域的深厚影响力和领导力。他的故事不仅是科技界的传奇，也是SEO优化的理想关键词：#MicrosoftCTO #KevinScott #LinkedInIPO #技术救星 #职业晋升

🌟💡Kevin Scott与Greg Brockman的深度交谈，无疑是AI领域的两股强大势力交汇的生动展现——一个是技术革新的引领者，另一个是应用平台的创新者。他们的对话，就像科技版的双子座对话，揭示了“技术”与“应用”的深层互动和共生关系。🚀💼对于从业者来说，这不仅是思想的火花碰撞，也是行业未来发展的关键信号。他们的观点交融，无疑将为AI领域带来深远影响，让我们期待这场智慧的交响曲如何引领科技前行。🌟🌐

这场对话也许才是关心ChatGPT背后技术思考和工程实践的人们最不能错过的。我们整理了这场对话实录，供大家参考：

Kevin Scott：非常感谢你今天加入我们的Build大会。我想从ChatGPT的体验开始，因为它确实让我们所有人都感到惊叹。ChatGPT的应用是多么令人兴奋，人们对它的兴趣也是如此之大，构建这样的东西确实是一个巨大的工程挑战。所以也许你可以和我们分享一下你对此的看法。

Greg Brockman：从基础设施和各个方面来看，ChatGPT都是一个非常有趣的过程。事实上，多年来我们一直在研究如何构建一个聊天系统的。我们之前还推出了一个名为Web GPT的demo，它是一个很有趣的demo。我们找了几百个测试者，真的是付钱让他们使用这个系统。他们的反馈是：“这个（Web GPT）有点用吧，还能编程。”

但对我而言，真正让我眼前一亮的时刻是在我们拥有了GPT-4时。我们之前已经有了一套熟悉的流程，例如对于GPT-3，我们只是部署了基本模型，进行了预训练，没有进行任何方向上的微调。而在GPT-3.5时，我们开始让它根据指令进行操作。我们给测试者一系列的步骤，让他们按照这些步骤进行训练。到了GPT-4时，我进行了一个小实验，例如，如果在模型已经生成了一些内容之后再提供第二条指令，会发生什么？这个模型给出了完美的响应，将之前生成的内容与新的指令融合在一起。

所以我认识到这个模型的强大之处，因为它真的能够总结出这样一种思路：“嗯，当你想让我遵循指示，并给我一个新的指示时，也许你是想与我聊聊。”

对我而言，那是我“开窍”的时刻：好吧，我们有了这个基础设施，它已经在早期模型中表现出色。这个模型虽然不是专为聊天设计的，但它确实能够进行聊天。所以这是一个真正的“啊哈！”时刻。从那时起，我们就想，我们必须将这个东西推出去，这个东西是可以成就大事的。

Kevin Scott：是的，这确实让我感到非常惊讶。我还记得当阿尔特曼给我打电话说，我们计划发布ChatGPT，预计需要几周时间。我当时的想法是，为什么不呢？我当时没有意识到这个技术在技术层面上会如此有效率，也没有想到它会取得如此疯狂的成功。我知道你是GPT-4的基础设施的主要架构师之一，而GPT-4为ChatGPT的发展提供了动力。对于在AI领域工作的每个人来说，这都是一种启发。所以我想知道你是否可以分享一些有趣的事情。

Greg Brockman：在很大程度上，GPT-4这个项目让我们成为“爱的劳工”，很辛苦但很值得。实际上，在GPT-3之后，我们尝试了多次超越该模型的性能，但都以失败告终。这并不是一件容易的事情。我们最终决定回到原点，重新构建整个基础设施。我们采取了许多方法，致力于处理每个细节。

我相信即使现在，我们仍然可能会发现更多的错误。但项目负责人之一雅各布曾经做了一个很好的类比，他说这几乎就像建造一枚火箭，你希望每个工程公差都尽可能小。例如，我们曾经遇到一个检查点读取的错误，如果你在错误的时间停止工作，当工作重新开始时，你可能会混合使用新权重和旧权重。这其实无伤大雅，因为机器学习可以从中恢复。但每当你在图表中看到一些奇怪的波动，你就会想知道是什么原因造成了这种情况。所以，我会回头重新审视每一个细节，这些看起来很乏味的工程工作是我的主要职责。

Kevin Scott：你所做的那些看似“无聊的工程工作”已经达到了一个令人难以置信的惊人规模。我确实认为，这对于房间里的每个人来说都是一个很好的启发，有时候真正导致成功的是那些看似平凡的基础工作。

萨蒂亚·纳德拉在他的演讲中提到了我们正在开发的共享插件。这个想法是，我们将授权房间里的每个人都能编写软件，以扩展ChatGPT的功能，以及我们正在构建的所有这些Copilot。这也是一个有趣的技术挑战，我们还没有解决所有的技术问题，还有很多工作要做，才能使它达到我们最终的目标状态。所以我很想知道你是否有一些想法想要分享。

Greg Brockman：我爱插件！我认为这是一个非常棒的机会，对于每个开发人员来说，都可以利用这项技术，让系统对每个人都更好，对吧？我们当时设计为开放标准的部分原因是，作为开发人员，你只需构建一次，然后任何AI都可以使用它。这真是个好主意，不是吗？

就像互联网推动发展的主要因素一样：你可以搭建一个网站，然后每个人都可以访问它。然后你开放了一个API，任何人都可以利用它。我认为这种核心设计原则非常棒，它让任何想要插入的人都能获得系统功能，并且能够将各个领域的扩展功能引入ChatGPT本身。

Kevin Scott：我真的很喜欢插件的一点就是它在概念上非常简单。这让我想起了我写的第一个HTTP服务器。一旦你理解了核心概念，你就能够快速构建出功能强大的东西。我觉得这是一件很棒的事情，所以在OpenAI的角色中，你一直在思考如何突破技术的极限。在我们的合作关系中真正令人惊奇的一点是，似乎因为你们，我们能够看得更远了。所以我很想知道你是否可以分享一些让你兴奋的应用程序或模型。

Greg Brockman：对我来说同样有趣的是，我们几乎处于一个像英特尔早年间使用的“Tick Tock模型”（注：”Tick-Tock”是Intel公司在2007年提出的一种战略模式，用于发展微处理器芯片设计制造业务。该模式将处理器微架构和芯片制程的更新错开，以提高效率。每个”Tick”代表一次微架构的芯片制程更新，旨在减小芯片面积、降低能耗和发热量；每个”Tock”代表在上一个”Tick”的基础上更新微处理器架构，提升性能。该模式的周期为两年，其中一年为”Tick”，另一年为”Tock”。）一样的循环中，你会想出创新，然后真正推动它。

就像GPT4一样，我们仍处于推动的早期阶段，对吧？我们已经宣布了视觉能力，但仍在生产中。我相信这将改变这些系统的工作方式和感受，以及在其上构建的各种应用程序。因此，我对此感到非常兴奋。回顾过去几年的历史，我想到两年前我们把价格砍下了70%。在过去一年中，我们又降价了90%。这看起来非常疯狂，不是吗？我相信我们将能够用新模型重复这样的事情。现在，虽然GPT4价格昂贵且尚未完全可用，但我认为这是将会改变的事情之一。

Kevin Scott：这也是我想留给在座各位的一件事：今天昂贵的东西明天不再昂贵，因为技术进步是如此惊人。我们还有时间来谈论最后一个话题——你已经为这里的开发人员提供了一系列非常好的建议，还有什么想跟大家分享的吗？

Greg Brockman：我认为在这个领域，技术路线越来越清晰，技术也越来越出色。但我相信有一件事是每个开发人员都可以做到的，而即使像微软这样的大公司也很难实现，那就是真正深入某个特定领域，弄清楚如何让这项技术在该领域发挥作用。因此，我非常欣赏那些在法律领域等领域工作的公司，他们获取了专业知识，与许多律师交流，了解他们对这项技术的痛点。我相信每个人的努力都可以为这项技术增添巨大的价值。

Kevin Scott：太棒了。正如Greg所说，你们都是让AI变得伟大的人。Greg，非常感谢你今天与我们共度时光！

举报/反馈