近日，由上海期智研究院，AI安全國際論壇 (Safe AI Forum)，以及上海人工智能實驗室主辦的第四屆AI安全國際對話 (International Dialogues on AI Safety) 在上海舉行。全球頂尖的人工智能 (AI) 科學家齊聚上海，就未來人工智能系統可能超越人類智能水平帶來的失控風險，進行了深入的交流與研討。
本次會議促成了《AI安全國際對話上海共識》（以下簡稱“上海共識”），首次呼籲全球各國政府及研究人員“確保高級人工智能系統的對齊與人類控制，保障人類福祉”。
共識指出，人工智能正迅速逼近並可能超越人類智能水平。然而，依據現有的系統欺瞞人類開發者的證據推測，具有超過人類智慧的人工智能系統可能在未來脫離人類控制或被不法分子利用，帶來災難性風險。因此，全球研究者必須聯合起來，確保人工智能系統受人類掌控且符合人類價值觀。
國內外人工智能安全與治理領域領軍人物，包括圖靈獎得主姚期智教授，諾貝爾獎和圖靈獎得主傑弗裏·辛頓 (Geoffrey Hinton)教授，圖靈獎得主約書亞·本吉奧 (Yoshua Bengio) 教授（遠程），加州大學伯克利分校計算機科學教授斯圖爾特·羅素 (Stuart Russell) 等出席本次會議，並簽署了上海共識。
據悉，2024年，辛頓、姚期智、羅素、本吉奧等專家共同簽署的“北京共識”聚焦在對AI風險的劃定、治理、評估、與合作幾個部分，尤其是呼籲行業爲AI的研發和應用戴上“緊箍咒”，避免相關技術被濫用，而“上海共識”則是聚焦通用人工智能系統的對齊與控制，提前規避安全風險。（古雨）
