研究人员通过计算发现，人类可能无法控制 AI

人工智能推翻人类的想法已经讨论了数十年，科学家们刚刚就我们是否能够控制高级计算机超级智能做出了他们的判断。答案？几乎肯定不是。

近日，《人工智能研究杂志》发表的一篇论文表明，要控制一个超出人类理解能力的超级智能，就需要对这种超级智能进行模拟，再对其进行分析。但是，如果我们无法理解它，就不可能创建这样的模拟。如果我们不了解人工智能，就无法设置诸如“对人类没有伤害”之类的规则。一旦计算机系统的工作水平超出了程序员的范围，我们将无法再设置限制。

研究人员写道：“超级智能提出的问题与通常以“机器人伦理”的旗帜进行研究的问题根本不同。”“这是因为超级智能是多方面的，因此有可能动员各种资源来实现人类可能无法理解的目标，更不用说可控了。”

团队的部分推理来自于图灵在1936年提出的停机问题。问题的中心在于知道计算机程序是否会得出结论并回答（因此停机），或者永远死循环。

正如图灵通过一些聪明的数学证明的那样，尽管我们可以知道对于某些特定程序，但从逻辑上讲，不可能找到一种方法让我们知道每个可能编写的程序。这使我们回到了AI领域，在超级智能状态下，它可以一次将所有可能的计算机程序保存在其内存中。

例如，为阻止AI伤害人类并破坏世界而编写的任何程序都可能会得出结论（和停机）或–从数学上讲，我们绝对无法确定任何一种方法，这意味着它是不可遏制的。