天天日报丨OpenAI创始人：越接近通用人工智能，我们就越谨慎

近些日子状况百出的AI顶流ChatGPT引发了背后公司OpenAI创始人的一些反思。

(相关资料图)

上周，OpenAI首席执行官Sam Altman在公司官网公布了对通用人工智能（AGI）当下和后续规划。AGI专注于研究像人一样思考并从事多种用途的机器。

在文章中，Altman承认AGI技术能够帮助人类的创造性实现质的飞跃，但他更担心，AGI的能力强大得超乎想象，应用不当可能对社会造成灾难性的后果。

因此，Altman认为必须更加谨慎创建和部署AGI模型，有意放慢其发展速度，帮助世界以更平稳、更渐进的方式向AGI时代过渡，比如，通过部署低版本的AGI来适应更加复杂的环境，或者对产品的应用进行限制等等。

AGI应用的三个原则

Altman在文中列出了OpenAI最关心的AGI应用的三个原则：

1. 我们希望AGI能让人类在宇宙中最大限度地繁荣发展。不期望未来的世界是个不合格的乌托邦社会，但希望最大化好处，最小化坏处，让AGI成为人类的放大器。

2. 我们希望广泛和公平地分享AGI的好处、获取和治理。

3. 我们希望成功应对巨大风险。在面对这些风险时，理论上看似正确的事情在实践中往往表现得比预期的更奇怪。我们认为必须通过部署功能较弱的技术版本来不断学习和适应，尽量减少“一次性成功”的情况。

越接近AGI，越谨慎

短期来看，Altman认为OpenAI应为AGI时代的到来做好准备，他建议，更加谨慎的创建和部署模型，对AGI应用范围进行限制，并对某些重大问题展开全球对话。

Altman写道：

首先，随着我们不断建立功能更强大的系统，我们希望部署它们并获得在现实世界中操作它们的经验。我们相信，这是谨慎管理AGI的最佳方式——逐步过渡到一个有AGI的世界要比突然过渡好。我们期望强大的AI能使世界更快进步，我们认为最好是逐步适应这一点。

我们目前认为，成功应对AI部署挑战的最佳方法是建立一个快速学习和谨慎迭代的紧密反馈循环。社会将面临AI系统被允许做什么，如何消除偏见，如何处理工作岗位流失等等的重大问题。最佳决策将取决于技术的发展路径，就像任何新领域一样，迄今为止大多数专家的预测都是错误的。这使得脱离实际进行规划非常困难。

随着我们的系统越来越接近AGI，我们对模型的创建和部署越来越谨慎。我们的决定需要比社会通常对新技术的应用更加谨慎，也比许多用户所希望的更加谨慎。

其次，我们正在努力建立日益具有一致性和可控性的模型。我们从GPT-3的第一个版本到DirectGPT和ChatGPT的转变就是一个早期的例子。

特别是，我们认为社会在AI的应用方面达成一致是非常重要的，但在这些范围内，个人用户有很大的自由裁量权。我们最终希望，世界各机构就这些宽泛的界限定义达成一致; 在较短期内，我们计划对外部投入进行试验。世界各机构需要增加能力和经验，为关于AGI的复杂决定做好准备。

我们产品的“默认设置”可能会受到很大限制，但我们计划让用户更容易改变他们使用的AI的行为。我们相信赋予个人自主决策的权力以及思想多样性的内在力量。

随着我们的模型变得更加强大，我们将需要开发新的对齐（alignment）技术(并且在现有技术失败时候进行理解测试)。我们的短期计划是使用AI来帮助人类评估更复杂模型的输出和监控复杂系统，长期计划是使用AI来帮助我们提出更好的对齐技术的新想法。

重要的是，我们认为必须在AI的安全性和能力方面均取得进展。把两者分开讨论是错误的，它们在许多方面是相互关联的。最安全的系统来自能力最强的模型。也就是说，提高安全进步与能力进步的比率很重要。

第三，我们希望就三个关键问题展开全球对话: 如何治理这些系统？如何公平分配它们产生的好处？以及如何公平共享访问？

除了这三个领域之外，我们还试图建立一种结构，使我们的激励措施产生良好的结果。我们的章程中有一个条款，即协助其他组织提高安全性，而不是在AGI开发的后期阶段与他们竞争。

我们对股东获得的回报设置了一个上限，这样公司就没有动力去自由地榨取价值并冒险部署一些具有潜在灾难危险性的东西(当然也是作为一种与社会分享利益的方式)。

我们认为发布新系统之前进行独立审计诸如此类的做法很重要，我们将在今年晚些时候讨论更多细节。

关键时刻减速可能很重要

展望更远的未来，Altman认为，为了防止AGI对世界造成灾难性的打击，必须对AGI模型的建立进行更严格的审查，遇到重大决策时应该进行公共咨询。

我们相信，人类的未来应该由人类决定，与公众分享进步的信息很重要。应该对所有试图建立AGI的行为进行严格审查，并就重大决定进行公共咨询。

第一个AGI将只是智力连续体上的一个点。我们认为，从那里开始进步还将继续，速度可能会在很长一段时间内以我们过去十年中看到的那样保持。如果这是真的，世界可能会变得与今天截然不同，风险也可能会非同寻常。如果一个超级智能的AGI发生错位，可能会对世界造成严重伤害，一个拥有决定性超级智能领导的专制政权也具有同样的杀伤力。

我们认为较慢的起飞速度更容易保证安全，AGI在关键时刻减速可能很重要(即使在一个我们不需要这样做来解决技术调整问题的世界里，减速对于给社会足够的时间来适应可能也很重要)。

成功地过渡到一个拥有超级智能的世界，或许是人类历史上最重要、最充满希望、最可怕的项目。成功远非板上钉钉，利害关系(无限的风险和无限的好处)将有望把我们所有人团结起来。