中國科學家發布通才智能體完全解鎖《我的世界》,像人類一樣生存,探索和創造!

中國科學家發布通才智能體完全解鎖《我的世界》,像人類一樣生存,探索和創造!

發布日期:

科技 Tech


要點:
一個理想的AI應該具有與人類類似的能力。遊戲“我的世界”里的AI不管是根據其當前的技能水平和世界狀態提出合適的任務、根據環境反饋完善技能并將掌握的技能存入記憶,還是不斷探索世界,以自驅動的方式尋找新任務,其實都已經和現實世界中人類的決策過程和行為方式非常相近。

致力於傳播優質的中國知識內容、搆建全球新共識。我們將通過一系列時事資訊、精品課程、論壇、節目、咨詢報告等內容產品,提供關於當代中國的最新的輿論思潮、深入的社會觀察、亮眼的科技成就等優質信息。我們已與五大洲十多個國家、百余個研究機搆、媒體機搆、政治團體、民間組織建立合作關系。希望通過我們的工作在海外分享中國經驗,講述中國故事,客觀分析我們共同面對的挑戰和機遇,攜手全球青年尋找全球化發展的新共識。
聯系我們 // Substack // Twitter // YouTube//相關文章

你是否喜歡在“Minecraft”廣闊多樣的世界中冒險,挖掘資源,制造工具和建造建筑物?你是否想要一個伙伴來和你一起探險?清華大學和中國科學院的研究人員開發了一個新的AI智能體,可以陪伴你完成任務。他們稱之為Minecraft中的幽靈/Ghost in Minecraft, 簡稱GITM,它不是你平常見到的普通機器人。

Minecraft中的AI智能體們卻面臨着一種有趣的莫拉維克悖論:對於人類來說具有挑戰性的任務,如下棋對於AI來說相對簡單,而對於人類來說通常很容易的任務(如在像Minecraft這樣的開放世界環境中進行互動和決策)卻對AI來說是巨大的挑戰。

via GIPHY

GITM成功地克服了這個悖論,在一個復雜、逼真的環境中取得了重大突破。這對AI技朮的潛在進步和更通用的AI智能體的開發做出了巨大貢獻。

GITM是一個通用智能體/Generally Capable Agent, 簡稱GCA,意味着它可以處理任何任務而不需要特定的培訓或指令。它使用大型語言模型/Large Language Model,簡稱LLM實現這種能力,這基本上意味着它擁有對單詞和常識的廣泛理解。GITM通過自然語言與你交流,并理解你的預期結果。此外,它使用基於文本的知識和記憶來存儲和檢索有用的信息,例如配方、位置和目標。


GITM 在 Minecraft 主世界的所有技術挑戰中實現了 100% 的任務覆蓋率(成功解鎖了完整的技術樹),而之前所有智能加起來只能覆蓋 30%。

研究人員在Minecraft中的一個流行任務“獲取鑽石”上測試了GITM,其任務是找到并挖掘一顆鑽石。這不是一個容易的任務,因為鑽石很少,而且在地下很深處,智能體還必須在途中生存各種危險,如熔岩、怪物和飢餓。以前使用強化學習/RL的方法只能實現約20%的成功率,這意味着它們失敗了5次中的4次。而GITM則取得了驚人的67.5%的成功率,這意味着它在3次嘗試中成功了2次。這是一個巨大的改進!

但GITM并不滿足於鑽石。GITM可以獲得游戲中的所有物品,從木材到玉髓。它可以制造工具、武器和裝甲,建造庇護所和農場,甚至馴服動物。它可以做任何你能做的事情,而且可能做得更好。

GITM是如何實現這一切的呢?它釆用了一種巧妙的方法。以前的AI智能體很難將Minecraft中的復雜目標與完成所需的精確鼠標和鍵槃操作聯系起來。然而,GITM釆用LLM根據當前情況和期望目標生成行動計划。LLM由三個組成部分組成:

LLM Decomposer:利用外部知識,如互聯網上的游戲知識庫,將復雜任務分解為簡單的子任務。

LLM Planner:計為每個子任務制規划一系列的結搆化動作,并根據反饋信息調整規划,還能通過不斷總結成功經驗提升自己

LLM Interface:使用底層的鍵槃鼠標操作執行結搆化動作,并在與環境交互的過程中獲取觀察信息

例如,如果GITM想要制作地獄傳送門,它可以詢問LLM如何制作,LLM會告訴它類似於以下內容:
- 找一些黑曜石、燧石和鋼
- 將黑曜石放在一個4x5的矩形中心有一個2x3的洞
- 用燧石和鋼在底部的黑曜石塊上點燃火
- 進入傳送門

GITM可以逐步執行這些步驟,并使用基於文本的記憶來跟蹤它已經做了什么和接下來需要做什么。它還可以使用基於文本的知識來查找任何需要的信息,例如配方、位置和物品屬性。例如,如果GITM想知道在哪里找到黑曜石,它可以詢問LLM,LLM會告訴它類似於以下內容:
- 黑曜石是一種稀有塊,可以在熔岩池附近找到
- 它有一種深紫色的顏色,很硬
- 它可以用鑽石鎬或更好的工具開釆
- 它是當水遇到熔岩時形成的

GITM可以使用這些信息來指導它的探索和挖掘活動。值得注意的是,GITM不需要GPU進行訓練;一個具有32個CPU核心的單個CPU節點就足夠了。這意味着一個不錯的筆記本電腦就足以運行GITM,相比於OpenAI的VPT和DeepMind的DreamerV3,它可以提高效率至少10,000倍。你甚至可以從它們的GitHub頁面下載代碼并嘗試它自己。

GITM的意義超越了電腦游戲。它代表着可以探索和與環境(虛擬的情況下)交互,并制定策略、自主執行的最新版本的通用智能體。想象一下,有一天,這樣的GCA可以通過傳感器和智能設備進入我們的現實世界,以自主的方式解決我們的現實問題。讓我們屏吸期待。

致力於傳播優質的中國知識內容、搆建全球新共識。我們將通過一系列時事資訊、精品課程、論壇、節目、咨詢報告等內容產品,提供關於當代中國的最新的輿論思潮、深入的社會觀察、亮眼的科技成就等優質信息。我們已與五大洲十多個國家、百余個研究機搆、媒體機搆、政治團體、民間組織建立合作關系。希望通過我們的工作在海外分享中國經驗,講述中國故事,客觀分析我們共同面對的挑戰和機遇,攜手全球青年尋找全球化發展的新共識。
聯系我們 // Substack // Twitter // YouTube//相關文章


返回網誌
  • Netflix奈飛財報,失望的展望?

    Netflix奈飛財報,失望的展望?

    Netflix奈飛發佈了 2024 年第一季度財報,基於強勁的優質內容供給,與彭博一致預期來看,用户淨增、收入、經營利潤等核心指標均顯著超預期,但盤後股價反而下跌,顯然市場對財報並不滿意。

    Netflix奈飛財報,失望的展望?

    Netflix奈飛發佈了 2024 年第一季度財報,基於強勁的優質內容供給,與彭博一致預期來看,用户淨增、收入、經營利潤等核心指標均顯著超預期,但盤後股價反而下跌,顯然市場對財報並不滿意。

  • 台積電財報iPhone需求不佳,英偉達救場?

    台積電財報iPhone需求不佳,英偉達救場?

    台積電的本次財報整體符合預期。由於公司每月披露經營數據,因此收入端的表現已有預期。因此收入端在數據上的超預期,其實並沒那麼重要。本季度毛利率的表現 53.1%,也基本符合市場預期。

    台積電財報iPhone需求不佳,英偉達救場?

    台積電的本次財報整體符合預期。由於公司每月披露經營數據,因此收入端的表現已有預期。因此收入端在數據上的超預期,其實並沒那麼重要。本季度毛利率的表現 53.1%,也基本符合市場預期。

  • 阿斯麥ASML業績崩坍,AI風吹不到光刻機?

    阿斯麥ASML業績崩坍,AI風吹不到光刻機?

    阿斯麥(ASML)的財報不太理想。收入端和利潤端均出現較明顯的下滑,主要是受台積電及韓國客户拉貨減少的影響。下季度的指引 2024 年第二季度預期收入 57-62 億歐元(市場預期 64.56 億歐元)和毛利率 50-51%(市場預期 50.12%)。

    阿斯麥ASML業績崩坍,AI風吹不到光刻機?

    阿斯麥(ASML)的財報不太理想。收入端和利潤端均出現較明顯的下滑,主要是受台積電及韓國客户拉貨減少的影響。下季度的指引 2024 年第二季度預期收入 57-62 億歐元(市場預期 64.56 億歐元)和毛利率 50-51%(市場預期 50.12%)。

  • 美股確認進入調整模式 | 美股展望 (Video)

    美股確認進入調整模式 | 美股展望 (Video)

    今個升浪由11月至上星期已經運行五個多月了,時間上需要一個調整,所謂強弩之末。部分市場參與者認為是跌市的開始,所謂跌市是指指數下調20%及更多。筆者認為應該逐步逐步看,不應太早作出結論。

    美股確認進入調整模式 | 美股展望 (Video)

    今個升浪由11月至上星期已經運行五個多月了,時間上需要一個調整,所謂強弩之末。部分市場參與者認為是跌市的開始,所謂跌市是指指數下調20%及更多。筆者認為應該逐步逐步看,不應太早作出結論。

  • 中東緊張局勢升級下,資金該如何避險?

    中東緊張局勢升級下,資金該如何避險?

    隨著市場擾動加劇,投資人避險情緒上升,資金避難方向成為普遍關注的問題。 除了美元、美國國債、黃金等傳統避險資產外,近期表現強勁的基本金屬和石油也再次受到關注。

    中東緊張局勢升級下,資金該如何避險?

    隨著市場擾動加劇,投資人避險情緒上升,資金避難方向成為普遍關注的問題。 除了美元、美國國債、黃金等傳統避險資產外,近期表現強勁的基本金屬和石油也再次受到關注。

  • 加拿大允許首次購屋者30年屋押貸款

    加拿大允許首次購屋者30年屋押貸款

    自2024年8月1日起,加拿大將允許一些首次購房者將抵押貸款的期限延長至30年,而新建房屋的期限則為25年。這一舉措將在即將到來的聯邦預算中提出,旨在幫助年輕消費者支付每月的抵押貸款,并鼓勵新的住房供應。

    加拿大允許首次購屋者30年屋押貸款

    自2024年8月1日起,加拿大將允許一些首次購房者將抵押貸款的期限延長至30年,而新建房屋的期限則為25年。這一舉措將在即將到來的聯邦預算中提出,旨在幫助年輕消費者支付每月的抵押貸款,并鼓勵新的住房供應。

  • 電動車出口“一船難求”,中國或將汽車開辟新貿易航線?

    電動車出口“一船難求”,中國或將汽車開辟新貿易航線?

    中國汽車出口量達到491萬輛,同比增長57.9%,再次創下曆史新高。其中,新能源汽車出口達到120.3萬輛,同比增長77.6%,成為出口增長的新引擎。多家外媒包括日本共同社和美聯社預測,中國有望超越日本,成為全球第一大汽車出口國。

    電動車出口“一船難求”,中國或將汽車開辟新貿易航線?

    中國汽車出口量達到491萬輛,同比增長57.9%,再次創下曆史新高。其中,新能源汽車出口達到120.3萬輛,同比增長77.6%,成為出口增長的新引擎。多家外媒包括日本共同社和美聯社預測,中國有望超越日本,成為全球第一大汽車出口國。

  • 聯準會降息的希望再次落空:哪些股票可能遭受最嚴重的打擊?

    聯準會降息的希望再次落空:哪些股票可能遭受最嚴重的打擊?

    與上週五非農業數據公佈後市場反應相對平靜不同,本週三公佈的通膨數據超預期,對市場情緒造成致命打擊。拋售後交易員並未重拾信心,美國三大股指均收跌。

    聯準會降息的希望再次落空:哪些股票可能遭受最嚴重的打擊?

    與上週五非農業數據公佈後市場反應相對平靜不同,本週三公佈的通膨數據超預期,對市場情緒造成致命打擊。拋售後交易員並未重拾信心,美國三大股指均收跌。

1 / 8
1 / 4
  • 2024年4月19日市場焦點

    隨著市場繼續評估通膨和聯準會政策前景以及中東的脆弱局勢,專家不排除出現一些額外的持續波動。但他們認為,本次多頭市場的基礎仍然良好,因此暫時的回檔是一個令人信服的買入機會。

    2024年4月19日市場焦點

    隨著市場繼續評估通膨和聯準會政策前景以及中東的脆弱局勢,專家不排除出現一些額外的持續波動。但他們認為,本次多頭市場的基礎仍然良好,因此暫時的回檔是一個令人信服的買入機會。

  • Lululemon將關閉華盛頓配送中心,並在倉庫佔地面積增加兩倍後解僱128名員工

    Lululemon運動服裝零售商週四向該州就業保障部提交了警告通知,通知計劃關閉位於西雅圖以南約35英里的薩姆納的配送中心,並裁員128人。 WARN通知指出,裁員將於6月21日開始,而Lululemon發言人表示,預計該設施將在今年底關閉。

    Lululemon將關閉華盛頓配送中心,並在倉庫佔地面積增加兩倍後解僱128名員工

    Lululemon運動服裝零售商週四向該州就業保障部提交了警告通知,通知計劃關閉位於西雅圖以南約35英里的薩姆納的配送中心,並裁員128人。 WARN通知指出,裁員將於6月21日開始,而Lululemon發言人表示,預計該設施將在今年底關閉。

  • 特斯拉因車出現踏闆卡住問題而召回Cybertruck

    特斯拉自願召回了3,878輛Cybertruck,以解決車主何塞·馬丁內斯/Jose Martinez上週在TikTok上發布的熱門視頻中描述的“踏板卡住”問題。特斯拉服務部門計劃免費更換或維修車主的油門踏板總成。

    特斯拉因車出現踏闆卡住問題而召回Cybertruck

    特斯拉自願召回了3,878輛Cybertruck,以解決車主何塞·馬丁內斯/Jose Martinez上週在TikTok上發布的熱門視頻中描述的“踏板卡住”問題。特斯拉服務部門計劃免費更換或維修車主的油門踏板總成。

  • 2024年4月18日市場焦點

    股市開盤時幾乎持平,標普500指數有望終結四天的下跌。各行業的領先地位保持平衡,標準普爾500指數中的大多數產業開盤均呈現上漲,尤其是通訊服務和金融業。科技股在台積電的帶動下表現較為疲軟。

    2024年4月18日市場焦點

    股市開盤時幾乎持平,標普500指數有望終結四天的下跌。各行業的領先地位保持平衡,標準普爾500指數中的大多數產業開盤均呈現上漲,尤其是通訊服務和金融業。科技股在台積電的帶動下表現較為疲軟。

1 / 4
1 / 4
  • 波士頓動力推出新型商用Atlas,人形機器人邁向電動化!

    波士頓動力推出新型商用Atlas,人形機器人邁向電動化!

    波士頓動力公司/Boston Dynamics發布了新版的人形機器人“Atlas”,聲稱這是針對“現實世界應用”而設計的。影片中,Atlas靜靜地躺在互鎖的健身墊上,攝影機橫掃過機器人的背部,腿在膝蓋處屈曲。

    波士頓動力推出新型商用Atlas,人形機器人邁向電動化!

    波士頓動力公司/Boston Dynamics發布了新版的人形機器人“Atlas”,聲稱這是針對“現實世界應用”而設計的。影片中,Atlas靜靜地躺在互鎖的健身墊上,攝影機橫掃過機器人的背部,腿在膝蓋處屈曲。

  • 個人化癌症疫苗

    個人化癌症疫苗

    Moderna正在進行一項新的試驗,該試驗針對一種名為HPV陰性頭頸鱗狀細胞癌/HPV-HNSCC的癌症。這種癌症的五年存活率低於50%。在這項試驗的22名參與者中,所有人的癌症都無法通過手術切除。

    個人化癌症疫苗

    Moderna正在進行一項新的試驗,該試驗針對一種名為HPV陰性頭頸鱗狀細胞癌/HPV-HNSCC的癌症。這種癌症的五年存活率低於50%。在這項試驗的22名參與者中,所有人的癌症都無法通過手術切除。

  • 全球罕見日全食在北美上演!

    全球罕見日全食在北美上演!

    全球罕見的日全食將於北美時間4月8日中午至下午上演。這次日全食將橫掃北美洲,許多墨西哥、美國和加拿大的城市都能欣賞到這一壯觀景象。觀賞性極佳,當地人有可能觀看到長達4分28秒的日全食過程。

    全球罕見日全食在北美上演!

    全球罕見的日全食將於北美時間4月8日中午至下午上演。這次日全食將橫掃北美洲,許多墨西哥、美國和加拿大的城市都能欣賞到這一壯觀景象。觀賞性極佳,當地人有可能觀看到長達4分28秒的日全食過程。

  • 美國FDA授權Prenosis作為首個可診斷敗血症的人工智能工具

    美國FDA授權Prenosis作為首個可診斷敗血症的人工智能工具

    健康科技公司Prenosis週三宣布,其基於人工智能AI的敗血症診斷工具已獲得美國食品藥物管理局/FDA批准,成為首個獲得此批准的工具。該工具直接集成到電子健康記錄中,臨床醫生可以在其中建立和管理患者的醫療記錄。

    美國FDA授權Prenosis作為首個可診斷敗血症的人工智能工具

    健康科技公司Prenosis週三宣布,其基於人工智能AI的敗血症診斷工具已獲得美國食品藥物管理局/FDA批准,成為首個獲得此批准的工具。該工具直接集成到電子健康記錄中,臨床醫生可以在其中建立和管理患者的醫療記錄。

1 / 4
  • 出海網紅經濟,是陷阱還是機遇?

    出海網紅經濟,是陷阱還是機遇?

    隨著中國品牌出海,網紅經濟席捲北美、東南亞兩大市場。在網紅經濟的迅速發展下,也催生了網紅主播、MCN機構一條成熟的“全產業鏈”。網紅主播為了流量可能會採取什麼極端的手段? MCN機構和主播間到底又存在哪些內幕?

    出海網紅經濟,是陷阱還是機遇?

    隨著中國品牌出海,網紅經濟席捲北美、東南亞兩大市場。在網紅經濟的迅速發展下,也催生了網紅主播、MCN機構一條成熟的“全產業鏈”。網紅主播為了流量可能會採取什麼極端的手段? MCN機構和主播間到底又存在哪些內幕?

  • 中國年輕人“逃離”一線城市,一線城市風光不再還是迫於現實?

    中國年輕人“逃離”一線城市,一線城市風光不再還是迫於現實?

    近年來,越來越多的年輕人選擇離開一線城市,去到二、三線城市或者回到自己的家鄉發展。然而,也有一部分年輕人選擇了重新回歸,在一線城市漂泊、打工、旅行,這種現象也被稱為“回籠漂”。

    中國年輕人“逃離”一線城市,一線城市風光不再還是迫於現實?

    近年來,越來越多的年輕人選擇離開一線城市,去到二、三線城市或者回到自己的家鄉發展。然而,也有一部分年輕人選擇了重新回歸,在一線城市漂泊、打工、旅行,這種現象也被稱為“回籠漂”。

  • 溫哥華明星脫口秀抽獎贈票!中外喜劇,以幽默形式傳遞思考

    溫哥華明星脫口秀抽獎贈票!中外喜劇,以幽默形式傳遞思考

    作為喜劇的“非常態”表達形式,“即興喜劇”完完全全由现场观众给一些主題、線索或是關鍵信息,再由喜劇演員們把这些东西用随机、自然的形式演绎出来。今天,我們和麦浪娱乐创始人之一、大麦喜剧即兴喜剧负责人紫琪一起探討即興喜劇背後的思考。

    溫哥華明星脫口秀抽獎贈票!中外喜劇,以幽默形式傳遞思考

    作為喜劇的“非常態”表達形式,“即興喜劇”完完全全由现场观众给一些主題、線索或是關鍵信息,再由喜劇演員們把这些东西用随机、自然的形式演绎出来。今天,我們和麦浪娱乐创始人之一、大麦喜剧即兴喜剧负责人紫琪一起探討即興喜劇背後的思考。

  • Netflix 韓劇D.P: 逃兵追缉令,霸凌黑暗面背後的思考

    Netflix 韓劇D.P: 逃兵追缉令,霸凌黑暗面背後的思考

    大多數人將霸凌與童年聯繫在一起,但任何年齡段的任何人都可能發生欺凌行為。它也可以採取多種形式,從言語騷擾到身體虐待等等。欺凌行為也不只發生在操場上。個人可能會在網上、辦公室、家里和其他地方遭受霸凌。

    Netflix 韓劇D.P: 逃兵追缉令,霸凌黑暗面背後的思考

    大多數人將霸凌與童年聯繫在一起,但任何年齡段的任何人都可能發生欺凌行為。它也可以採取多種形式,從言語騷擾到身體虐待等等。欺凌行為也不只發生在操場上。個人可能會在網上、辦公室、家里和其他地方遭受霸凌。

1 / 4