OpenAI的AGI策略

我经常对OpenAI自与Microsoft开始合作以来所走的道路敲响警钟。我认为人工智能实验室已经逐渐从追求科学转向为其主要金融支持者创造有利可图的产品。

本周，OpenAI首席执行官山姆奥特曼(Sam Altman)在一篇博文中打消了我的一些疑虑，他在博文中阐述了实验室的通用人工智能(AGI)计划。无论您对AGI争论持何种立场，该帖子都包含一些关于OpenAI计划如何应对AI研究和产品开发挑战的有趣观点。我认为这很重要，因为许多其他研究实验室在未来几年将面临类似的挑战。

Altman还留下了一些未解决的问题，考虑到该领域正在经历的不断变化，这可能是公平的。以下是我从OpenAI的AGI策略中得出的一些重要结论。

AGI研究可能（预计）会碰壁

该帖子的介绍是关于AGI的好处和风险。一方面，AGI可以提升人性、发现新知识、推动经济发展、放大创造力等。另一方面，它可能带来极端风险、社会混乱、事故等。

但是有一些有趣的事实。Altman承认，“我们目前的进展可能会碰壁。”考虑到围绕大型语言模型(LLM)的炒作，我认为这很重要。LLM和其他深度学习模型的不断进步使一些人相信我们正在创造AGI的道路上。但有明显迹象表明，仅靠LLM无法解决情报的关键方面，如果被委以敏感任务，可能会犯致命错误。

我希望Altman详细说明的一件事是他们在LLM以外的领域的研究计划。过去，OpenAI在各个领域进行研究，包括机器人技术和不同的强化学习系统。在过去几年中，这些努力几乎从OpenAI的研究中消失了。尽管这些领域可能被证明非常昂贵且无利可图（至少在短期内），但它们可能会为解开情报之谜提供有价值的信息。

Altman提出的另一个重要观点是：“我们不希望未来成为一个不合格的乌托邦，但我们希望将好的一面最大化，将坏的一面最小化，让AGI成为人类的放大器。”现在，总的来说这是一个很好的观点，但它留下了一些难题：我们如何定义好与坏？谁将成为价值的仲裁者？我们想要扩大人性的哪些方面，以最大限度地发挥善意并最大限度地减少坏处？

逐步过渡到AGI

我认为这篇文章更有趣的部分是OpenAI的短期战略。在这里，Altman的想法反映了OpenAI从为数百万用户部署AI系统中学到的东西。

首先，他说“逐渐过渡”比突然过渡要好，因为它允许我们逐步调整。

“逐步过渡让人们、政策制定者和机构有时间了解正在发生的事情，亲身体验这些系统的好处和缺点，调整我们的经济，并制定监管，”奥特曼写道。

与我交谈过的科学家、研究人员和从业者都同意，鉴于人工智能对日常生活的影响，它不再是科学家在实验室开发的东西。它应该成为一个多学科领域，包括来自各个领域的人，包括人文科学、工程和法学。这将帮助我们更好地理解强大的深度学习模型将对社会、经济和政治产生的影响。

Altman还谈到通过“快速学习和仔细迭代的紧密反馈循环”来应对AI部署挑战。这意味着要有一种心态，即您对技术的所有假设都可能是错误的。因此，它需要有适当的工具和基础设施来不断收集用户和开发人员的反馈并定期更新模型。近年来，OpenAI几乎完美地掌握了这一点。

这些实践帮助他们将技术推向了意想不到的方向。例如，GPT-3最初是用于与语言相关的任务。在此过程中，OpenAI团队了解到可以对同一模型进行微调以生成软件代码，这已成为迄今为止LLM最成功的应用之一。

AI不开放

OpenAI经常受到批评，因为它没有向公众发布其模型并利用其研究来盈利和筹集资金。

Altman为实验室所走的道路辩护说，“最佳决策将取决于技术所走的道路”，并且在真空中进行规划非常困难。在脚注中，他解释说，他们作为非营利组织的原始结构没有奏效，因为他们认为规模（即训练更大、更昂贵的神经网络）并不像事实证明的那么重要。他还表示，“我们最初关于开放性的想法是错误的”，这意味着他们将继续将功能更强大的模型隐藏在API之后。

Altman说：“我们相信，民主化的访问还将带来更多更好的研究、分散的权力、更多的利益以及更多的人贡献新想法。”

我觉得这部分有点问题。OpenAI使用的API模型将使更多人更容易访问AI系统，而无需经历建立模型的技术难题。而这确实会帮助更多的人为该领域贡献新的想法。

但某些类型的研究需要访问训练数据以及模型权重和架构，而OpenAI并未提供这些数据。透明和共享一直是科学进步的基石。但不幸的是，随着AI研究实验室越来越倾向于对其模型的细节保密，来自不同组织的科学家之间的合作变得越来越困难。

另外，与Altman所说的相反，OpenAI奉行的政策并不是去中心化权力。它将其集中在微软手中，微软拥有OpenAI技术的独家许可。它还引发了一场人工智能军备竞赛，其他大型科技公司也在寻求与其他研究实验室进行类似交易。

定制人工智能模型

Altman提出的重要观点之一——可以追溯到确定人工智能促进的价值——是“创建越来越一致和可控的模型”。OpenAI在这方面的主要成就之一是使用人类反馈强化学习(RLHF)使LLM与人类意图保持一致。

但是，通过集中处理将对齐烘焙到模型中存在问题。ChatGPT发布后，许多用户发布了该模型的实例，显然在敏感的政治和社会问题上“偏袒”了一方。目前尚不清楚问题是由于训练数据的偏差还是OpenAI实施的护栏造成的。但显而易见的是，您无法找到能够满足所有个人和群体偏好的通用解决方案。

Altman认为，这个问题可以通过让社会“就如何使用AI的极其广泛的范围达成一致”并让用户自行决定在这些范围内使用AI来解决。（我不确定是否有可能以一种可以提供足够灵活性同时防止滥用模型的方式定义“宽边界”。我们将不得不拭目以待。）

“我们产品的‘默认设置’可能会受到很大限制，但我们计划让用户可以轻松更改他们正在使用的AI的行为，”Altman写道。“我们相信赋予个人做出自己的决定和思想多样性的内在力量。”

OpenAI已经提供了使用自定义数据集微调GPT-3的工具。我希望将来他们也能推出用于RLHF微调的工具。OpenAI已经在研究几种新的AI对齐技术。重要的是，创造更好的人工智能并不总是依赖于发明更先进的架构。寻找将人工智能与人类直觉相结合的方法有助于事半功倍，并将现有技术提升到一个新的水平。

平衡人工智能研究和盈利

Altman表示，需要围绕三个关键领域展开全球对话：人工智能治理、公平分配利益和公平获取。没有启动这一全球对话的蓝图。有这么多利益冲突，我不确定这样的对话是否可能。软件不是可以轻易监管的东西。

Altman还解释了OpenAI为协调其科学和商业激励措施所做的努力。这些努力包括OpenAI章程中的一个条款，该条款规定“如果一个价值一致、有安全意识的项目在我们之前接近构建AGI，我们承诺停止与该项目竞争并开始协助该项目。”

我不知道OpenAI计划如何实施这一条款，因为我们不知道后期AGI系统会是什么样子。但拥有这个广泛的框架来定期重新评估公司的方向是件好事。

Altman还表示，公司的利润上限结构将阻止股东不受约束地获取价值，并推动公司“部署具有潜在灾难性危险的东西”。OpenAI可能已经为自己设置了护栏，但它筹集的大量资金以及微软将OpenAI的技术集成到其产品中所采取的方向有可能导致OpenAI试图阻止的非常灾难性的危险发展。

奥特曼提出了另外两个重要观点。首先，需要对新系统进行独立审计。这可能会解决我之前提出的一些透明度问题以及因不公开模型而导致的问题。但这实际上取决于审计过程的细节，OpenAI将在今年晚些时候宣布。

其次是需要限制训练模型所需的计算速率。GPT-3等模型的计算要求使得小公司几乎不可能自行开展工作。研究增加较小模型的能力可以帮助该领域的民主化，尽管它也需要开源模型。

最后的想法

随着AI的如此多的发展，期望OpenAI提供完美的路线图是不现实的。这就是为什么我很欣赏Sam Altman的文章，尽管我希望看到所有问题的解答。

当然，我们的许多问题都没有完美的答案。但重要的是定期进行这些对话并了解我们的立场并调整路线。我们将密切关注它是如何展开的。