每经编辑：毕陆名

(资料图片)

为了控制、引导超级智能对齐问题，OpenAI周三（5日）表示，组建了一支人工智能对齐团队Superalignment。同时该团队也是对OpenAI现有工作的补充，可提升ChatGPT等产品的安全性，在4年内解决超级智能对齐问题。

超级智能将是人类发明的最具影响力的技术之一，可以帮助我们解决世界上许多难题。但超级智能的巨大力量也可能非常危险，并导致人类失去控制权，甚至灭绝人类。虽然超级智能还很遥远，但OpenAI认为，10年之内就很有可能实现。

目前，OpenAI还没有一个明确的解决方案来引导或控制超级人工智能。当下可控制的人工智能技术，例如，根据人类反馈进行强化学习，依赖于人类监督的AI能力等。但人类无法可靠地监督，比我们聪明多的AI系统，因此，我们目前的对齐技术无法扩展到超级智能，需要新的科学技术突破。

20%算力用来解决AI失控问题

为了控制、引导超级智能对齐问题，OpenAI组建了一支由Ilya Sutskever（OpenAI联合创始人兼首席科学家）和Jan Leike领导的人工智能对齐团队——Superalignment。

同时该团队也是对OpenAI现有工作的补充，可提升ChatGPT等产品的安全性，包括非法滥用、经济破坏、虚假信息、偏见和歧视、数据隐私和其他可能出现的问题。

他们预测，超智能AI（即比人类更聪明的系统）可能在这个十年（2030年前）就会到来，人类将需要比目前更好的技术来控制超智能AI，因此需要在所谓的“一致性研究”方面取得突破，该研究的重点是确保人工智能对人类有益。

根据他们的说法，在微软（Microsoft）的支持下，OpenAI将拿出未来四年所获算力的20%用于解决AI失控的问题。此外，该公司正在组建一个新的团队来组织这项工作，称为超级一致性团队。

据悉，该团队的目标是创建一个“人类级别”的AI研究人员，然后通过大量的计算能力进行扩展。OpenAI表示，这意味着他们将使用人类反馈来训练AI系统，训练AI系统来辅助人类评估，然后最终训练AI系统进行实际的一致性研究。

OpenAI的方法

建立一个大致达到人类水平的自动对齐系统。然后，可以使用大量算力来扩展工作，并调整超级智能。

1、开发可扩展的训练方法：为了针对人类难以评估的任务提供训练方法，可以通过人工智能系统来协助评估，其他人工智能系统（可扩展的监督）。此外，OpenAI希望了解和控制其模型，将监督应用到无法监督的任务（泛化）上。

2、验证生成的模型：为了验证系统的一致性，OpenAI将自动搜索有问题的行为（稳定性）和有问题的内部结构（自动可解释性）。

3、对整个对齐管道进行压力测试：可以通过故意训练未对准的模型，来测试整个安全流程，并确认技术检测到最差的未对准类型（对抗性测试）。

OpenAI预计，随着对超级智能对齐了解越来越多，研究重点将会发生重大变化，可能会增加全新的研究领域。

未来，会分享更多有关技术研究路线图的信息。

每日经济新闻综合OpenAI官网

每日经济新闻

关键词：