寻找安全的未来：我们需要什么样的AI专家？

🌟💡在数字化时代，我们需要的是具备深厚技术实力的AI安全专家，他们专注于提升系统的安全性与可靠性，而非仅仅热衷于Twitter上的言论狂欢。让AI真正服务于社会，关键在于那些默默致力于背后工程优化的专业人才。🌍🛡️

🌟提取要点：核材料与AI超级计算机的相似性，借鉴与启示💡💡探讨科技交叉领域时，我们不应局限于过去的教训，而是要敏锐发现两者间的潜在关联。核能的发展曾带来双重挑战——安全与效率，而现代AI的崛起亦需平衡创新与风险管理。这两种技术都需要深思熟虑和适度探索，而非盲目模仿或过度担忧。🌱💡借鉴核材料的经验，我们不应止步于安全防范，而是要寻求更高效、可持续的解决方案；同样，AI的发展也需要在保障数据隐私的同时，推动科技进步。记住，适度是关键，避免陷入过度学习的陷阱。🎯📝让我们以开放的心态去探索科技融合的新可能，从中汲取智慧，而非被过去的错误束缚。未来，两者将在创新与安全的平衡中共同进步。🚀

打开凤凰新闻，查看更多高清图片

支付平台Stripe联合创始人兼首席执行官帕特里克·科里森对话OpenAI首席执行官山姆·奥特曼。

🌟随着AI监管的重要性日益凸显，全球热议不断。💡OpenAI首席执行官山姆·奥特曼（Sam Altman）提出了创新思路——创建一个类似联合国核能署的国际AI治理组织，让每个人都能参与到对超强大型AI训练系统的全球监督中来，实现共治共享。🌍

🌟【深度解析】5月9日，一场备受瞩目的对冲基金行业盛事——Sohn 2023大会的精华访谈精彩呈现！🎉几天后，主办方Sohn Conference Foundation慷慨分享了这场思想盛宴的完整视频，让全球投资者一窥AI巨头的秘密。🔍在访谈中，投资大师奥特曼深入剖析了ChatGPT的应用，揭示开源与闭源AI各自的优缺点及未来演进方向。💡他明确指出，尽管RLHF带来了短期效益，但从长远来看，它并非理想的智能驱动策略。🔥ChatGPT的崛起，引发了业界对人工智能新纪元的热烈讨论，奥特曼的观点无疑为行业指明了前进的方向。📚通过这次访谈，投资者们不仅了解到技术动态，更明白了如何在AI浪潮中做出明智决策。🌐欲了解更多深度解析，敬请关注Sohn 2023大会的相关报道，或直接点击链接获取完整视频——链接待提供（SEO优化）。🏆让我们一起紧跟科技步伐，共同见证未来金融的革新！💼

以下为部分访谈内容：

帕特里克·科里森（Patrick Collison，支付平台Stripe联合创始人兼首席执行官）：你最常用的ChatGPT功能是什么，在不测试东西的时候，真的想要用的时候，ChatGPT完全是你的工具时。

奥特曼：无疑是汇总摘要。如果没有它，我已经不知道怎么继续工作。我可能无法处理电子邮件和Slack（即时通讯软件）。你知道，你可以把一堆电子邮件或者Slack消息发给它。

希望随着时间的推移，我们能为这个场景构建一些更好的插件。但即使是手动操作效果也相当好。

科里森：有没有任何插件成为你工作流程的一部分？

奥特曼：我偶尔用代码解释器。但说实话，对我个人来说，它们还没有真正像是日常习惯的一部分。

科里森：有些人认为我们现在的训练数据已经接近互联网的全部内容，你不能把这个数目再增加两个数量级，我想你可能会反驳说，是的，但是（还有）合成数据（通过计算机程序人工生成的数据）生成，你认为数据瓶颈重要吗？

奥特曼：我认为，就像你刚才提到的，只要你能达到这个合成数据的临界点，模型足够聪明，能制作出好的合成数据，我认为应该没问题。

我们肯定需要新的技术，我不想假装没有这个问题。简单地把Transformer扩展，预先从互联网上获取训练数据，这种方法会失效，但这并不是我们的计划。

科里森：所以GPT-3.5和4的一大突破就是RLHF（带有人类反馈的强化学习）。如果你，山姆，亲自做了所有的RLHF，模型会变得明显更聪明吗？反馈的人是否重要？

奥特曼：我认为我们正在进入一个阶段，在某些领域，你真的需要聪明的专家给出反馈，以使模型变得尽可能智能。

科里森：当我们考虑所有现在已经成为焦点的AI安全问题时，我们应该从核不扩散的经验中吸取什么最重要的教训？

奥特曼：首先，我认为过分借鉴以前的技术总是一个错误。每个人都想要找一个类比，每个人都想说，哦，这就像这个，或者那个，我们是这样做的，所以我们将再次这样做，但每种技术的形式都是不同的。然而，我认为核材料和AI超级计算机有一些相似之处，这是我们可以借鉴和获得启示的地方，但我会提醒人们不要过度学习上一件事的教训。我认为可以建立一个类似于国际原子能机构（IAEA）的AI机构——我知道这听起来多么天真，这么做有多困难——但是我认为让每个人都参与到对极其强大的AI训练系统的全球监管机构中来，这似乎对我来说是一个非常重要的事情。我认为这就是我们可以学到的一个教训。

科里森：如果它被建立了，明天就存在了，那么它应该首先做什么呢？

奥特曼：任何超过我们设定的阈值的系统——实现这个最容易的方法是计算阈值（最好的方法是能力阈值，但这更难以衡量）——任何超过这个阈值的系统，我认为都应该接受审核。应该让这个组织有完全的可视化权限，要求在发布系统之前通过某些安全评估。那将是第一件事。

科里森：今年对我来说，一个大的惊喜就是开源模型的进步，特别是最近60天左右的疯狂进步。你认为，一年后开源模型会有多好？

奥特曼：我认为这里将会有两个发展方向，一是超级规模化的最好的闭源模型，二是开源社区的进步，可能会落后几年，但我认为我们将会生活在一个有非常强大的开源模型的世界，人们会用它们来做各种事情，整个社区的创造力将会让我们所有人感到惊讶。

科里森：可能超大型的模型在科学上非常有趣，也许你需要它们来做一些事情，比如推动AI的进步，但是对于大多数的实用日常案例，可能一个开源模型就足够了。你认为这个未来有多大可能性？

奥特曼：我认为对于许多有超级经济价值的事情来说，这些较小的开源模型将足够使用。但你刚刚提到了我想说的一件事，那就是帮助我们发明超级智能，那是一个非常有经济价值的活动，就像治愈所有的癌症或发现新的物理规律等，这些都将首先由最大的模型来实现。

科里森：Facebook现在应该开源LLaMa吗？

奥特曼：现在这个点上，可能应该。

科里森：他们应该开源他们的基础模型/语言模型，还是只是LLaMa呢？

奥特曼：我认为Facebook的AI策略在最好的情况下也只能说是混乱的，但我认为他们现在开始非常认真，并且他们有非常能干的人，我预计他们很快就会有更连贯的策略。我认为他们将会是一个令人惊讶的真正的新玩家。

科里森：有没有什么新的发现可能会显著改变你对灾难性结果的可能性估计，无论是提高还是降低它？

奥特曼：是的，我认为有很多，从现在到超级智能之间的大部分新工作都会使这个概率上升或下降。

科里森：那么，你特别关注什么？有什么你特别想知道的事情吗？

奥特曼：首先，我不认为带有人类反馈的强化学习（RLHF）是正确的长期解决方案。我不认为我们可以依赖它。我认为它是有帮助的，它当然使这些模型更容易使用。但你真正想要的是理解模型内部的运作情况，并能够使之对齐，比如说，精确地知道哪个电路或人工神经元集合在发生什么，并能够以一种能够给模型性能带来稳定改变的方式调整它。

还有很多超出这个的事情，但如果我们能向这个方向可靠地工作，我认为每个人的灾难概率都会大幅降低。

科里森：你认为有足够的可解释性工作正在进行吗？

奥特曼：没有。

科里森：为什么不呢？

奥特曼：大部分声称他们真的很担心AI安全的人，似乎只是在推特上花时间说他们真的很担心AI的安全，或者做很多其他事情。

🌟担忧AI安全？大有可为！💡顶尖专家正倾力研发，OpenAI全力以赴引领潮流。🚀我们深知人才的重要性，尤其在保障智能科技安全的道路上。👨‍💻工程师们，你们的贡献将决定未来的走向！JOIN US，一起探索AI的守护者之路！🌐#AI安全 #技术先锋 #OpenAI招募

🌟世界呼唤真正安全可靠的AI守护者🌍，而不仅仅是热衷于Twitter论战的专家。💻技术才是关键，我们需要那些专注于让AI系统稳定、无虞运行的专业人才。这个行业正在迎来一场变革，看那些顶尖的机器学习研究者如何调整视角，新人也正源源不断地涌入，两者相辅相成，形成强大的合力。🌱SEO优化提示：使用相关关键词如”AI安全”, “技术人才”, “机器学习研究”, “行业变革”等，并适当增加emoji符号以提升可读性和搜索引擎友好度。

科里森：似乎很快我们将拥有代理，你可以以非常自然的方式与之对话，低延迟全双工（Full Duplex，允许二台设备间同时进行双向数据传输）。显然，我们已经看到了Character和Replica这样的产品，即使是这些初期的产品在这个方向上也取得了相当惊人的进展。

我认为这些可能是一项巨大的成就，也许我们正在大大低估它，尤其是一旦你可以通过语音进行对话。你认为这样对吗？如果是这样，你认为可能的后果是什么？

奥特曼：是的，我确实认为是对的。

最近有人对我说过一句印象深刻的话，他们相当确定，他们的孩子将来会有更多的AI朋友而不是人类朋友。至于后果，我不知道会是什么样子。

我认为有一点很重要的是，我们要尽快确立一个社会规范。你知道，如果你在与AI或人类进行交流，或者类似奇怪的AI辅助人类的情况，人们似乎很难在他们的头脑中区分（是人还是AI），即使是像你提到的Replica这样的早期的弱智系统。

不管我们大脑中渴望社交互动的回路是什么，似乎有些人在某些情况下可以通过与AI朋友相处来满足这种需求。

科里森：最近有人告诉我，在Replica的Reddit上读到的一个讨论主题是，如何处理升级到Replica模型时的情感挑战和创伤。因为你的朋友突然变得有点智力受损，或者至少是一个有点不同的人，而且，这些对话者都知道Replica实际上是一个AI，但不知道为什么，我们的情感反应似乎并没有太大的区别。

奥特曼：大多数人都觉得我们正朝着这样一个社会发展：在天空中有个漂浮的至高无上的超级智能存在。而我认为，那是一个在某种意义上不那么可怕但仍然有些奇怪的社会，一个由很多AI和人类共同整合的社会。

关于这个已经有很多电影，就像《星球大战》中的角色C3PO或其他你想要的AI。人们知道这是AI，但它仍然很有用，人们仍然与之互动，它有点像可爱的人，尽管你知道它不是一个人。

而在这个世界上，我们有一个很多AI与人类一起融入基础设施的社会，这对我来说感觉更容易应对，也不那么可怕。

科里森：对于OpenAI来说，显然你们想成为并且是一家卓越的研究机构。但是关于商业化，是成为一家消费者公司更重要还是成为一家基础设施公司更重要？

奥特曼：作为一项商业策略，我是支持平台加顶级应用的。我认为这在很多企业中都取得了成功，原因是充分的。我认为我们开发的消费者产品有助于改进我们的平台。我希望随着时间的推移，我们能够找到方法，让平台也能够改进消费者应用。我认为这是一个很好的连贯的策略，同时进行。

但正如你指出的，我们的目标是成为世界上最优秀的研究机构，这对我们来说比任何产品化更重要。我们建立这样一个组织，能够不断取得突破性进展，虽然并非所有尝试都会成功，我们走过了一些弯路，但我们已经找到了比其他人更多的范式转变，并且我认为我们将在这里实现下一个重大突破。这是我们努力的重点。

科里森：你使用的最好的非OpenAI的AI产品是什么？

奥特曼：坦率地说，我想不出其他什么产品。我对世界的了解比较狭窄，但ChatGPT是我每天使用的唯一AI产品。

科里森：有没有你希望存在的AI产品，你认为我们当前的能力或即将实现的能力使得这种产品成为可能，你期待着它的出现？

奥特曼：我希望有一种像“副驾驶”一样的产品，可以控制我的整个电脑。它可以查看我的Slack、电子邮件、Zoom、iMessage以及庞大的待办事项和文档，并且在很大程度上完成我的工作。

科里森：OpenAI在筹款方面做得非常出色，具有非常特殊的资本结构，与非营利组织和微软的交易，等等，这些奇特的资本结构被低估了吗？企业和创始人是否应该更加开放地思考？

奥特曼：我怀疑不是，我怀疑在这方面进行创新可能是一件可怕的事情，你应该在产品和科学方面进行创新，而不是企业结构方面。

我们所面临的问题形式非常奇特，尽管我们尽力而为，但我们不得不采取一些奇怪的措施，但总体而言，这是一种令人不快的体验，也是一个消耗时间的过程。

对我参与的其他项目来说，它总是采用正常的资本结构，我认为那样更好。

科里森：我们是否低估了资本的重要程度？你所参与的很多公司都需要大量资本。可能OpenAI就是最需要资本的公司，虽然谁知道还有没有别的更需要的。

我们是否低估了资本对未实现的创新的限制？这是否是你所参与的各种努力中的共同主题？

奥特曼：是的，我认为这是个问题，基本上我参与的四家公司中，除了只是作为投资者写支票的那些，所有的公司都需要大量资本。

科里森：你想要列举一下这些公司吗？对于在场的观众。

奥特曼：OpenAI和Healing是我最花时间的项目，然后还有Retro和Worldcoin。

但你知道，所有这些公司在任何产品出现之前都筹集了至少九位数的资金，OpenAI的这个数字更大，所有公司都在第一轮融资或在发布产品之前筹集了九位数的资金，它们都需要很长时间，花费多年时间才能发布产品。

我认为愿意做这样的事情是有很大价值的，而这种方式某个时候在硅谷失宠了。

我理解为什么，像那些只需要筹集几十万、一百万美元就可以盈利的公司也很好，但我认为我们过度倾向于这个方向了，我们已经忘记了如何进行高风险高回报的大量资本和时间密集型的投资，这些也是有价值的，我们应该能够支持两种模式。

科里森：这涉及到为什么没有更多的埃隆·马斯克。

我猜，在过去的20年里，两家最成功的硬件公司（SpaceX和Tesla）在更广泛的意义上都是由同一个人创办的。这看起来是一个令人惊讶的事实。

显然，埃隆在很多方面都是独一无二的。但你对这个问题的回答是什么，我们是否喜欢他这种特殊情况，资本的故事是不是与你所说的线索相符，如果让你在世界上创造更多SpaceX和Tesla，你可能在自己的工作中也试图做到这一点，但如果你不得不以系统的方式推动这个方向，你会尝试改变什么？

奥特曼：我从未遇见过另一个埃隆，我从未遇见过我认为可以轻易地被培养成另一个埃隆的人。他是一种奇怪的独一无二的人物。我很高兴他存在于世界上；但你知道，他也是一个复杂的人。我不知道如何创造更多像他那样的人，我不知道。我不知道你对如何创造更多的想法是什么，我很好奇。

科里森：哪家并未被视为AI公司的公司将在未来五年从AI中受益最多？

奥特曼：我认为有一种投资工具会找出如何利用AI成为一个非凡的投资者，并且有着疯狂的超额回报，所以像是利用这些新技术的Rentech。

科里森：那么，你看到有哪家（上市）公司呢？

奥特曼：你认为微软是一家AI公司吗？

科里森：就这个问题而言，我们假设答案是否定的。

奥特曼：我认为微软将在几乎所有方面通过AI进行自我变革。

科里森：那是因为他们更认真对待这个问题，还是因为微软的性质使他们特别适合这个问题，更能理解这个问题？

奥特曼：他们比其他人更早地认识到这个问题，并且比其他人更认真地对待这个问题。