OpenAI提議像管核設(shè)施一樣管AI,！

Callejon

OpenAI三位掌舵人聯(lián)名發(fā)文,，提議像管核設(shè)施一樣管AI,！

他們預(yù)言十年內(nèi)AI產(chǎn)出將與大公司相當(dāng),。而超級(jí)智能是一把“雙刃劍”,，必須要受到監(jiān)管,。

近日,，OpenAI CEO Sam Altman,、總裁Greg Brockman和首席科學(xué)家Ilya Sutskever聯(lián)名發(fā)表了一篇“呼吁信”，認(rèn)為世界需要建立一個(gè)國(guó)際人工智能監(jiān)管機(jī)構(gòu),，而且要穩(wěn)中求快建立起來(lái),。

他們解釋說(shuō)：

人工智能的創(chuàng)新速度如此之快，我們不能指望現(xiàn)有的權(quán)威機(jī)構(gòu)能夠充分控制這項(xiàng)技術(shù),。

OpenAI此舉受到大量關(guān)注,，推特上轉(zhuǎn)贊已超3000：

馬斯克也來(lái)評(píng)論底下湊了熱鬧，“控制很重要”：

有網(wǎng)友認(rèn)為OpenAI提出這樣的舉措,，阻礙了開(kāi)放人工智能社區(qū)的發(fā)展,，這看起來(lái)是自私的，與OpenAI的名稱相違背：

也有網(wǎng)友對(duì)OpenAI提出的監(jiān)管AI表示認(rèn)同：

很高興看到這些問(wèn)題受到更嚴(yán)肅的關(guān)注,。

其實(shí),，在上周美國(guó)國(guó)會(huì)聽(tīng)證會(huì)上，Altman就針對(duì)AI安全問(wèn)題提出了三條措施：

• 成立一個(gè)新的機(jī)構(gòu),，負(fù)責(zé)為AI大模型頒發(fā)許可,，并擁有撤銷許可的權(quán)力。
• 為AI模型創(chuàng)建一套安全標(biāo)準(zhǔn),，對(duì)危險(xiǎn)性做評(píng)估,，包括它們是否能夠“自我復(fù)制”、“逃出實(shí)驗(yàn)室自己行動(dòng)”,。
• 要求獨(dú)立專家對(duì)模型的各種指標(biāo)做獨(dú)立審計(jì),。
  

OpenAI此次再次呼吁建立監(jiān)管機(jī)構(gòu)。

在文章中,，OpenAI高層承認(rèn)人工智能不會(huì)自我管理,，未來(lái)十年內(nèi)人工智能系統(tǒng)將在很多領(lǐng)域超越專家水平，并且產(chǎn)出能夠與當(dāng)今的最大企業(yè)相匹敵,。

人工智能的發(fā)展已是大勢(shì)所趨,，要想限制它的發(fā)展就需要類似全球監(jiān)視體制的東西出現(xiàn)。

國(guó)外媒體TechCrunch認(rèn)為,，雖然OpenAI的提議相當(dāng)于“也許我們應(yīng)該做點(diǎn)什么”（也帶有一點(diǎn)自夸的傾向）,，但這“至少是一個(gè)起點(diǎn)”。

下面是OpenAI此次發(fā)布的文章全文編譯：

超級(jí)智能的治理

現(xiàn)在是思考超級(jí)智能治理的好時(shí)機(jī)——未來(lái)的人工智能系統(tǒng)在能力上將遠(yuǎn)超通用人工智能（AGI）,。

從我們目前的觀察來(lái)看,，可以想象在接下來(lái)的十年內(nèi)，人工智能系統(tǒng)將在大多數(shù)領(lǐng)域超越專家水平,，其產(chǎn)出能夠與當(dāng)今最大的企業(yè)相當(dāng),。

無(wú)論是從潛在的積極影響還是負(fù)面影響來(lái)說(shuō)，超級(jí)智能都比人類曾經(jīng)面對(duì)的其它技術(shù)更加強(qiáng)大,。這意味著我們可能會(huì)迎來(lái)一個(gè)極其繁榮的未來(lái),。

然而,，為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們必須有效地管理其中的風(fēng)險(xiǎn),�,？紤]到潛在的存在主義風(fēng)險(xiǎn)(existential risk)，我們不能僅僅采取被動(dòng)的應(yīng)對(duì)措施,。核能就是一個(gè)常見(jiàn)的例子,，具備類似特性的技術(shù)還包括合成生物學(xué)。

我們需要降低當(dāng)前人工智能技術(shù)的風(fēng)險(xiǎn),，但對(duì)于超級(jí)智能,，我們需要特別的處理和協(xié)調(diào)機(jī)制。

一個(gè)起點(diǎn)

在引導(dǎo)人工智能向良發(fā)展的過(guò)程中,，有許多重要的想法需要我們考慮,。

在這里，我們首先對(duì)其中的三個(gè)想法進(jìn)行了初步思考：

首先,，為了確保超級(jí)智能的發(fā)展可以在安全的前提下與社會(huì)順利融合,，我們需要在前沿的研發(fā)工作之間進(jìn)行一定程度的協(xié)調(diào)。

實(shí)現(xiàn)這一目標(biāo)可以采取多種方式：全球各政府可以組建一個(gè)項(xiàng)目,，將現(xiàn)有的許多工作納入其中,；或者我們可以達(dá)成一致意見(jiàn)（像下文所建議的,，在新組織的支持下）,，限制人工智能能力的研發(fā)增長(zhǎng)速度，每年將其保持在一定幅度之內(nèi),。

當(dāng)然,，我們應(yīng)該要求各個(gè)公司以極高的標(biāo)準(zhǔn)負(fù)責(zé)任地行事。

其次,，最終我們很可能需要類似國(guó)際原子能機(jī)構(gòu)（IAEA）這樣的機(jī)構(gòu)來(lái)管理超級(jí)智能,。任何達(dá)到一定能力（或計(jì)算資源等）門(mén)檻的項(xiàng)目都應(yīng)受到國(guó)際權(quán)威機(jī)構(gòu)的監(jiān)管。

該機(jī)構(gòu)可以檢查系統(tǒng),、要求審計(jì),、測(cè)試是否符合安全標(biāo)準(zhǔn)，以及限制部署程度和安全級(jí)別等,。跟蹤計(jì)算和能源使用情況可能會(huì)有很長(zhǎng)的路要走,，我們需要得到一些使這個(gè)想法可以實(shí)現(xiàn)的希望。

作為第一步,，公司可以自愿同意開(kāi)始實(shí)施這樣一個(gè)機(jī)構(gòu)未來(lái)可能要求的一些準(zhǔn)則,；第二步，各個(gè)國(guó)家可以逐步實(shí)施,。重要的是,，這樣的一個(gè)機(jī)構(gòu)應(yīng)該專注于降低存在主義風(fēng)險(xiǎn),，而不是處理本應(yīng)由各個(gè)國(guó)家解決的問(wèn)題，比如規(guī)定人工智能能夠說(shuō)些什么,。

第三,，我們需要具備技術(shù)能力來(lái)確保超級(jí)智能的安全性。這是一個(gè)開(kāi)放的研究問(wèn)題,，我們和其他人正在為此付出很多努力,。

不在監(jiān)管范圍內(nèi)的部分

我們認(rèn)為允許公司和開(kāi)源項(xiàng)目在明顯的能力門(mén)檻以下開(kāi)發(fā)模型是非常重要的，無(wú)需采取我們所描述的監(jiān)管措施（包括繁瑣的機(jī)制,，如許可證或?qū)徍耍��?/font>

現(xiàn)今的系統(tǒng)將為世界帶來(lái)巨大的價(jià)值,，雖然它們的確存在風(fēng)險(xiǎn)，但它們所帶來(lái)的風(fēng)險(xiǎn)程度與其它互聯(lián)網(wǎng)技術(shù)相當(dāng),，而且社會(huì)對(duì)此的處理方式似乎是恰如其分的,。

相比之下，我們關(guān)注的系統(tǒng)是那種具有超越目前任何技術(shù)的力量,。

我們應(yīng)該注意的是,，不要通過(guò)對(duì)遠(yuǎn)低于這個(gè)標(biāo)準(zhǔn)的技術(shù)，應(yīng)用相似的標(biāo)準(zhǔn)來(lái)淡化對(duì)它們的關(guān)注,。

公眾參與和潛力

然而,，對(duì)于最強(qiáng)大系統(tǒng)的治理以及與其相關(guān)的部署決策，必須受到公眾強(qiáng)有力的監(jiān)督,。

我們認(rèn)為全世界的人們應(yīng)該以民主的方式?jīng)Q定AI系統(tǒng)的界限和默認(rèn)設(shè)置,。

雖然我們還不知道如何設(shè)計(jì)這樣的機(jī)制，但我們計(jì)劃進(jìn)行試驗(yàn)來(lái)推動(dòng),。而在界限之內(nèi),，我們?nèi)匀粓?jiān)持認(rèn)為個(gè)體用戶應(yīng)該對(duì)所使用的AI系統(tǒng)的行為擁有很大的控制權(quán)。

考慮到其中的風(fēng)險(xiǎn)和困難,，我們有必要思考為什么要構(gòu)建這項(xiàng)技術(shù),。

對(duì)于OpenAI來(lái)說(shuō)，我們有兩個(gè)根本原因,。

首先,，我們相信它將帶來(lái)一個(gè)比我們今天能夠想象的更美好的世界（在教育、創(chuàng)意工作和個(gè)人生產(chǎn)力等領(lǐng)域,，我們已經(jīng)看到了早期的成果）,。

世界面臨著許多問(wèn)題，我們需要更多幫助來(lái)解決這些問(wèn)題,，而這項(xiàng)技術(shù)可以改善我們的社會(huì),。每個(gè)人使用這些新工具的創(chuàng)造力肯定會(huì)讓我們感到驚嘆。經(jīng)濟(jì)增長(zhǎng)和生活質(zhì)量的提高也將是令人吃驚的。

其次,，我們相信阻止超級(jí)智能的創(chuàng)建是具有非直觀風(fēng)險(xiǎn)和困難的,。因?yàn)槠鋷��?lái)的好處是非常巨大的，建造它的成本每年都在下降,，而參與者數(shù)量在迅速增加,。

它本質(zhì)上是我們所走的技術(shù)道路的一部分，要監(jiān)管它的發(fā)展就需要類似全球監(jiān)視體制的存在,。

但即便如此,，也無(wú)法保證監(jiān)管的有效性。

所以,，我們必須把它做好,。

530700332

又是這個(gè)套路，先上車再把車門(mén)焊死,，強(qiáng)行設(shè)立規(guī)則,，打擊后邊其它國(guó)家或地區(qū)研發(fā)發(fā)展。

Mxluck412

打著監(jiān)管的名義實(shí)行壟斷,，屢見(jiàn)不鮮啊

來(lái)自星星的猩猩

任何事物都有具有雙面,、甚至多面性，人工智能更不例外,。