研究人員通過計算發現，人類可能無法控制 AI

人工智能推翻人類的想法已經討論了數十年，科學家們剛剛就我們是否能夠控制高級計算機超級智能做出了他們的判斷。答案？幾乎肯定不是。

近日，《人工智能研究雜誌》發表的一篇論文表明，要控制一個超出人類理解能力的超級智能，就需要對這種超級智能進行模擬，再對其進行分析。但是，如果我們無法理解它，就不可能創建這樣的模擬。如果我們不瞭解人工智能，就無法設置諸如“對人類沒有傷害”之類的規則。一旦計算機系統的工作水平超出了程序員的範圍，我們將無法再設置限制。

研究人員寫道：“超級智能提出的問題與通常以“機器人倫理”的旗幟進行研究的問題根本不同。”“這是因為超級智能是多方面的，因此有可能動員各種資源來實現人類可能無法理解的目標，更不用説可控了。”

團隊的部分推理來自於圖靈在1936年提出的停機問題。問題的中心在於知道計算機程序是否會得出結論並回答（因此停機），或者永遠死循環。

正如圖靈通過一些聰明的數學證明的那樣，儘管我們可以知道對於某些特定程序，但從邏輯上講，不可能找到一種方法讓我們知道每個可能編寫的程序。這使我們回到了AI領域，在超級智能狀態下，它可以一次將所有可能的計算機程序保存在其內存中。

例如，為阻止AI傷害人類並破壞世界而編寫的任何程序都可能會得出結論（和停機）或–從數學上講，我們絕對無法確定任何一種方法，這意味着它是不可遏制的。