空煙彈>AI代理「此能力」若不明確！頂尖科學家警告：人工智慧將全面失控

Yoshua Bengio（左）和 Max Tegmark（右）在瑞士達沃斯CNBC的“Beyond The Valley”播客現場錄製中討論了通用人工智慧的發展。（擷取CNBC）

高佳菁／核稿編輯

〔財經頻道／空煙彈〕不受控的AI代理，將讓AI失控，2位頂尖人工智慧科學家表示，像「代理（Agent）」一樣建構的通用人工智慧（AGI）可能會很危險，因他們擁有一定的「自主權」和自己的思考能力，一旦控制不明確，那麼創造者可能會失去對AI系統的控制，讓人類陷入困境。

CNBC報導，麻省理工學院教授、未來生命研究所所長馬克斯·泰格馬克（Max Tegmark）和被譽為"人工智慧教父"之一的蒙特利爾大學教授約書亞·本吉奧（Yoshua Bengio）在CNBC播客節目《超越矽谷》中，談到了他們對通用人工智能（AGI）的擔憂。

請繼續往下閱讀...

AGI廣泛指比人類更聰明的人工智慧系統。

他們的擔憂源於全球最大的幾家公司目前正在談論「人工智慧代理」或「代理型人工智慧」，這些公司聲稱這將允許人工智慧聊天機器人像助手或代理商一樣行事，並協助工作和日常生活。

Bengio表示，這個概念意味著人工智慧系統可以擁有一定的「自主權」和自己的思考能力。

目前，我們正在建立AGI，試圖讓它們成為能夠了解世界的代理，然後能夠採取相應的行動，但這實際上是1個非常危險的提議。

追求這種方法，就像「在這個星球上創造1個新物種，或1個新的智慧實體，並且不知道它們的行為方式是否會符合我們的需求，正是因為人工智慧有自己的目標，我們才會陷入困境。

Bengio表示，隨著人工智慧變得越來越智慧，若不想與比我們更聰明的實體競爭，那麼我們必須了解自我保護，如何成為人工智慧的目標。

而泰格馬克則認為，在我們人類還沒有搞清楚如何控制它之前，就建造出比我們更聰明的東西，這顯然是瘋狂的。

他再次呼籲，現在是時候採取行動，來弄清楚如何設置護欄來控制AGI了。

他進一步指出，AGI不一定非得是代理，但可以從特定的、狹義的目的而創建的「工具型人工智慧」。

泰格馬克表示，工具型人工智慧可以是告訴你如何治療癌症的系統，或者是一種像自動駕駛汽車一樣擁有"某種能動性"的東西，"你可以證明或獲得一些非常高、非常可靠的保證，表明你仍然能夠控制它。"

我認為，從樂觀的角度來看，我們幾乎可以擁有人工智慧所期待的一切，只要我們堅持在人們銷售強大的人工智慧系統之前，制定一些基本的安全標準。