Boston Dynamics推出ChatGpt與Spot結合品, “AI+機器人”趨勢獲得新突破!

Boston Dynamics推出ChatGpt與Spot結合品, “AI+機器人”趨勢獲得新突破!

發布日期:

科技 Tech


要點:
波士頓動力/Boston Dynamics在官網展示了一項新的研究,通過將ChatGPT、Spot 以及其他AI 模型相結合,開發了一種會說話的“導游機器狗”。在多個測試過程中,導遊機器狗甚至被發現具備簡單的“自我決策”能力。AI與機器人的結合,提供了一種在現實世界中落地大型基礎模型的絕佳方式,無法預測未來會怎樣。但很明顯,人工智能的快速發展有可能徹底改變我們生活的許多方面。

科技正以前所未有的速度和規模發展,引發多個領域的變革,塑造了新的商業模式,甚至重塑了全新社會結構。我們一起,從科技創新中洞察社會轉型和升級的機遇。

狂呼科技研究所聚焦科技創新對當今世界的影響,以獨特、前瞻的科技視角,洞察科技時代下涌現的“創新革命”。

狂呼,以最具突破性的技朮塑造我們的未來,為大眾捕捉科技商業先機,探索當今人類社會面臨的重大挑戰。

聯系我們 // 相關文章

2023年10月27日,全球頂級機器人開發商波士頓動力/Boston Dynamics在官網展示了一項新的研究,通過將ChatGPT、Spot以及其他AI模型相結合,開發了一種會說話的“導游機器狗”。據相關視頻顯示,該導游機器狗能夠根據文字、語音提示與人類進行交談,同時提供了視覺問答功能,甚至可以分析攝像頭拍攝的畫面,自動生成圖像說明。

波士頓動力表示,ChatGPT等大語言模型/LLM展現出了強大的控制和輸出能力,可以用於控制物理機器人的行為和決策功能。例如,輸入一些特定景點數據、圖片等,可讓機器人提供邏輯清晰、條理分明的導游功能。此外,還增強了物理機器人的擬人化能力,比如為你講一個冷笑話、做一個逗你開心的滑稽動作等等。如果釆用傳統的方法,這或許是一件非常困難的事情,而現在都卻成為“輕而易舉”的現實。

導游機器狗工作原理
波士頓動力使用了自研的四足機器人Spot作為物理機器人框架,實現了行走、監控、導航、掃描等基礎功能。

為了能讓導游機器狗說話與人類互動,研發人員為其配備了3D打印的Respeaker V2揚聲器,這是一個帶有LED的環形陣列麥克風,可通過USB將其連接到Spot的EAP 2實現數據傳輸。

1) Spot EAP 2) 揚聲器 3) 藍牙音箱 4) 點臂和夾具相機

使用一台電腦作為導游機器狗的控制大腦,并通過Spot SDK與其實現數據交互。為了讓機器狗具備擬人化動作,例如點頭,伸脖子等,均使用了Spot的點臂和夾具相機。此外,物理硬件環境搭建完成后,為了使導游機器狗具備對話功能,研發人員使用了GPT-3.5和GPT-4與Spot SDK相結合,并進行了簡單的指令微調,讓導游機器狗具備了初級導游判斷和對話功能。

隨後,為了讓Spot與人類和環境進行交互,集成了VQA和語音轉文本軟件。同時將機器人的抓手攝像頭和前置機身攝像頭輸入BLIP-2,并以視覺問答模式或圖像字幕模式運行它。該過程大約每秒運行一次,結果將直接輸入到提示中。同時,為了讓導游機器狗可以實現“聽”的功能,研發人員將麥克風數據分塊輸入到OpenAI的語音模型Whisper中轉換為英文文本。此外,為了讓導游機器狗能與人類實現對話,需要將人類的語音指令轉換成文本用於提示ChatGPT,因此還需要一個轉換工具。開發人員在嘗試了多種工具后,決定使用了云服務ElevenLabs。

在多個測試過程中發現令人驚奇的現象,導遊機器狗好像具備簡單的“自我決策”能力
向導游機器狗詢問Marc Raibert(波士頓動力執行董事)是誰時?它回答“我不知道他是誰,讓我們去服務台問一問吧。”到了服務台,導游機器狗繼續向服務人員詢問Marc Raibert是誰?當研發人員提問:你的父母是誰?導游機器狗走向了Spot V1和Big Dog的展示區,并認為這些機器人是它的父輩們。實際上,它們之間確實有關聯。另外,導游機器狗還展現出了有趣的一面,可以主動向路人詢問,周圍是否有神秘的生物。

波士頓動力表示,未來還會持續優化該產品的功能。該團隊為Spot提供了一個“非常簡短的腳本”。機器人將該腳本與從其抓手和身體上的攝影機獲取的圖像結合起來,使其能夠在生成響應之前獲得有關所看到內容的更多資訊。據該公司稱,Spot使用視覺問答模型來為圖像添加字幕並回答有關圖像的問題。

雖然,波士頓動力公司沒有詳細說明導遊機器狗的未來計劃是什麼。但它確實指出,它的機器人和人工智能AI非常匹配,所以也許我們將來會看到更多這樣的事情。該公司似乎不會很快推出這個附加組件,目前Spot的價格仍然昂貴,約為75,000美元。儘管波士頓動力公司沒有透露它將用更先進的Spot做什麼,但ChatGPT與實體機器人的相結合,為大語言模型實現物理化落地打開了大門,可以在導游、娛樂、物流、陪伴等領域得到廣泛應用。

“AI+機器人”的快速發展
在過去的一兩年裡,人工智能,特別是“生成式人工智能”領域的進步迅速。自2022年底問世以來,這款由OpenAI推出的聊天機器人程序“ChatGPT”迅速引起全球范圍的高度關注,它的爆火掀起了新一輪生成式人工智能/AIGC熱潮。和以往類似的聊天機器人相比,ChatGPT的智能化程度大幅提升,幫助人們更輕松地與計算機進行交互和溝通。機器翻譯,摘要截取,以及情感分析等功能加成,使ChatGPT具備像真人一般的語言理解能力,甚至在效率上強於人類。ChatGPT的誕生無疑是AI時代的重要里程碑,也預示着新一輪人工智能技朮革命正在加速來襲。

而AI與機器人的結合,更是提供了一種在現實世界中落地大型基礎模型的絕佳方式
從今年年初火爆起來的ChatGPT、到ChatGPT與人形機器人的突破,再到如今能實現AI與機器人“對話”,可見發展速度之快,甚至快於大眾對其想象。值得註意的是,這些模型可以幫助提供文化背景、一般常識知識和靈活性,這對於許多機器人任務來說都是有用的。例如,僅僅通過與機器人交談就可以將任務分配給機器人,這將有助於減少學習量使用這些系統的曲線。

隨著日益複雜的技術的興起,自動化和機械化的普及已成為現代社會的標誌。而在此過程,也曾有不少人擔心,工作崗位是否在未來會被AI 取替?狂呼媒體曾發佈一文“AI人工智能對就業市場和未來經濟的影響?”,已經“預示”了體力勞動者在AI出現後,他們的可替代性甚至不比智力勞動者少。如今,導遊機器狗的出現,更是說明了這一點。

目前,機器人的主要用途在於能夠提高倉庫和工廠等環境的效率,成為了人們對自動化程度提高所導致的就業機會稀缺的合理擔憂。雖然自動化確實正在取代許多低技能工作,但它導致勞動力向其他部門重新分配,這種現象稱為“勞動力流失”。但與此同時,自動化在重複性、體力密集工作方面的優勢使工人有機會重新調整自己的技能並尋求更具刺激性的工作。

事實證明,機器人總體上有助於完成以前需要大量投入的任務和工作。它們具有以多種方式改善我們生活品質的巨大潛力。但同時,由於潛在的惡意以及與安全和隱私相關的其他擔憂,關於允許機器人技術擴展的道德仍然存在爭議。這種擔憂通常與人工智慧的使用有關,但當機器人擁有沒有情感的認知時,就沒有理由擔心了。人工智能是一個快速發展的領域,無法預測未來會怎樣。但很明顯,人工智能的快速發展有可能徹底改變我們生活的許多方面,而每個方面的趨勢都值得持續我們持續關注。

科技正以前所未有的速度和規模發展,引發多個領域的變革,塑造了新的商業模式,甚至重塑了全新社會結構。我們一起,從科技創新中洞察社會轉型和升級的機遇。

狂呼科技研究所聚焦科技創新對當今世界的影響,以獨特、前瞻的科技視角,洞察科技時代下涌現的“創新革命”。

狂呼,以最具突破性的技朮塑造我們的未來,為大眾捕捉科技商業先機,探索當今人類社會面臨的重大挑戰。

聯系我們 // 相關文章


返回網誌
  • Netflix奈飛財報,失望的展望?

    Netflix奈飛財報,失望的展望?

    Netflix奈飛發佈了 2024 年第一季度財報,基於強勁的優質內容供給,與彭博一致預期來看,用户淨增、收入、經營利潤等核心指標均顯著超預期,但盤後股價反而下跌,顯然市場對財報並不滿意。

    Netflix奈飛財報,失望的展望?

    Netflix奈飛發佈了 2024 年第一季度財報,基於強勁的優質內容供給,與彭博一致預期來看,用户淨增、收入、經營利潤等核心指標均顯著超預期,但盤後股價反而下跌,顯然市場對財報並不滿意。

  • 台積電財報iPhone需求不佳,英偉達救場?

    台積電財報iPhone需求不佳,英偉達救場?

    台積電的本次財報整體符合預期。由於公司每月披露經營數據,因此收入端的表現已有預期。因此收入端在數據上的超預期,其實並沒那麼重要。本季度毛利率的表現 53.1%,也基本符合市場預期。

    台積電財報iPhone需求不佳,英偉達救場?

    台積電的本次財報整體符合預期。由於公司每月披露經營數據,因此收入端的表現已有預期。因此收入端在數據上的超預期,其實並沒那麼重要。本季度毛利率的表現 53.1%,也基本符合市場預期。

  • 阿斯麥ASML業績崩坍,AI風吹不到光刻機?

    阿斯麥ASML業績崩坍,AI風吹不到光刻機?

    阿斯麥(ASML)的財報不太理想。收入端和利潤端均出現較明顯的下滑,主要是受台積電及韓國客户拉貨減少的影響。下季度的指引 2024 年第二季度預期收入 57-62 億歐元(市場預期 64.56 億歐元)和毛利率 50-51%(市場預期 50.12%)。

    阿斯麥ASML業績崩坍,AI風吹不到光刻機?

    阿斯麥(ASML)的財報不太理想。收入端和利潤端均出現較明顯的下滑,主要是受台積電及韓國客户拉貨減少的影響。下季度的指引 2024 年第二季度預期收入 57-62 億歐元(市場預期 64.56 億歐元)和毛利率 50-51%(市場預期 50.12%)。

  • 美股確認進入調整模式 | 美股展望 (Video)

    美股確認進入調整模式 | 美股展望 (Video)

    今個升浪由11月至上星期已經運行五個多月了,時間上需要一個調整,所謂強弩之末。部分市場參與者認為是跌市的開始,所謂跌市是指指數下調20%及更多。筆者認為應該逐步逐步看,不應太早作出結論。

    美股確認進入調整模式 | 美股展望 (Video)

    今個升浪由11月至上星期已經運行五個多月了,時間上需要一個調整,所謂強弩之末。部分市場參與者認為是跌市的開始,所謂跌市是指指數下調20%及更多。筆者認為應該逐步逐步看,不應太早作出結論。

  • 中東緊張局勢升級下,資金該如何避險?

    中東緊張局勢升級下,資金該如何避險?

    隨著市場擾動加劇,投資人避險情緒上升,資金避難方向成為普遍關注的問題。 除了美元、美國國債、黃金等傳統避險資產外,近期表現強勁的基本金屬和石油也再次受到關注。

    中東緊張局勢升級下,資金該如何避險?

    隨著市場擾動加劇,投資人避險情緒上升,資金避難方向成為普遍關注的問題。 除了美元、美國國債、黃金等傳統避險資產外,近期表現強勁的基本金屬和石油也再次受到關注。

  • 加拿大允許首次購屋者30年屋押貸款

    加拿大允許首次購屋者30年屋押貸款

    自2024年8月1日起,加拿大將允許一些首次購房者將抵押貸款的期限延長至30年,而新建房屋的期限則為25年。這一舉措將在即將到來的聯邦預算中提出,旨在幫助年輕消費者支付每月的抵押貸款,并鼓勵新的住房供應。

    加拿大允許首次購屋者30年屋押貸款

    自2024年8月1日起,加拿大將允許一些首次購房者將抵押貸款的期限延長至30年,而新建房屋的期限則為25年。這一舉措將在即將到來的聯邦預算中提出,旨在幫助年輕消費者支付每月的抵押貸款,并鼓勵新的住房供應。

  • 電動車出口“一船難求”,中國或將汽車開辟新貿易航線?

    電動車出口“一船難求”,中國或將汽車開辟新貿易航線?

    中國汽車出口量達到491萬輛,同比增長57.9%,再次創下曆史新高。其中,新能源汽車出口達到120.3萬輛,同比增長77.6%,成為出口增長的新引擎。多家外媒包括日本共同社和美聯社預測,中國有望超越日本,成為全球第一大汽車出口國。

    電動車出口“一船難求”,中國或將汽車開辟新貿易航線?

    中國汽車出口量達到491萬輛,同比增長57.9%,再次創下曆史新高。其中,新能源汽車出口達到120.3萬輛,同比增長77.6%,成為出口增長的新引擎。多家外媒包括日本共同社和美聯社預測,中國有望超越日本,成為全球第一大汽車出口國。

  • 聯準會降息的希望再次落空:哪些股票可能遭受最嚴重的打擊?

    聯準會降息的希望再次落空:哪些股票可能遭受最嚴重的打擊?

    與上週五非農業數據公佈後市場反應相對平靜不同,本週三公佈的通膨數據超預期,對市場情緒造成致命打擊。拋售後交易員並未重拾信心,美國三大股指均收跌。

    聯準會降息的希望再次落空:哪些股票可能遭受最嚴重的打擊?

    與上週五非農業數據公佈後市場反應相對平靜不同,本週三公佈的通膨數據超預期,對市場情緒造成致命打擊。拋售後交易員並未重拾信心,美國三大股指均收跌。

1 / 8
1 / 4
1 / 4
1 / 4
  • 波士頓動力推出新型商用Atlas,人形機器人邁向電動化!

    波士頓動力推出新型商用Atlas,人形機器人邁向電動化!

    波士頓動力公司/Boston Dynamics發布了新版的人形機器人“Atlas”,聲稱這是針對“現實世界應用”而設計的。影片中,Atlas靜靜地躺在互鎖的健身墊上,攝影機橫掃過機器人的背部,腿在膝蓋處屈曲。

    波士頓動力推出新型商用Atlas,人形機器人邁向電動化!

    波士頓動力公司/Boston Dynamics發布了新版的人形機器人“Atlas”,聲稱這是針對“現實世界應用”而設計的。影片中,Atlas靜靜地躺在互鎖的健身墊上,攝影機橫掃過機器人的背部,腿在膝蓋處屈曲。

  • 個人化癌症疫苗

    個人化癌症疫苗

    Moderna正在進行一項新的試驗,該試驗針對一種名為HPV陰性頭頸鱗狀細胞癌/HPV-HNSCC的癌症。這種癌症的五年存活率低於50%。在這項試驗的22名參與者中,所有人的癌症都無法通過手術切除。

    個人化癌症疫苗

    Moderna正在進行一項新的試驗,該試驗針對一種名為HPV陰性頭頸鱗狀細胞癌/HPV-HNSCC的癌症。這種癌症的五年存活率低於50%。在這項試驗的22名參與者中,所有人的癌症都無法通過手術切除。

  • 全球罕見日全食在北美上演!

    全球罕見日全食在北美上演!

    全球罕見的日全食將於北美時間4月8日中午至下午上演。這次日全食將橫掃北美洲,許多墨西哥、美國和加拿大的城市都能欣賞到這一壯觀景象。觀賞性極佳,當地人有可能觀看到長達4分28秒的日全食過程。

    全球罕見日全食在北美上演!

    全球罕見的日全食將於北美時間4月8日中午至下午上演。這次日全食將橫掃北美洲,許多墨西哥、美國和加拿大的城市都能欣賞到這一壯觀景象。觀賞性極佳,當地人有可能觀看到長達4分28秒的日全食過程。

  • 美國FDA授權Prenosis作為首個可診斷敗血症的人工智能工具

    美國FDA授權Prenosis作為首個可診斷敗血症的人工智能工具

    健康科技公司Prenosis週三宣布,其基於人工智能AI的敗血症診斷工具已獲得美國食品藥物管理局/FDA批准,成為首個獲得此批准的工具。該工具直接集成到電子健康記錄中,臨床醫生可以在其中建立和管理患者的醫療記錄。

    美國FDA授權Prenosis作為首個可診斷敗血症的人工智能工具

    健康科技公司Prenosis週三宣布,其基於人工智能AI的敗血症診斷工具已獲得美國食品藥物管理局/FDA批准,成為首個獲得此批准的工具。該工具直接集成到電子健康記錄中,臨床醫生可以在其中建立和管理患者的醫療記錄。

1 / 4
  • 出海網紅經濟,是陷阱還是機遇?

    出海網紅經濟,是陷阱還是機遇?

    隨著中國品牌出海,網紅經濟席捲北美、東南亞兩大市場。在網紅經濟的迅速發展下,也催生了網紅主播、MCN機構一條成熟的“全產業鏈”。網紅主播為了流量可能會採取什麼極端的手段? MCN機構和主播間到底又存在哪些內幕?

    出海網紅經濟,是陷阱還是機遇?

    隨著中國品牌出海,網紅經濟席捲北美、東南亞兩大市場。在網紅經濟的迅速發展下,也催生了網紅主播、MCN機構一條成熟的“全產業鏈”。網紅主播為了流量可能會採取什麼極端的手段? MCN機構和主播間到底又存在哪些內幕?

  • 中國年輕人“逃離”一線城市,一線城市風光不再還是迫於現實?

    中國年輕人“逃離”一線城市,一線城市風光不再還是迫於現實?

    近年來,越來越多的年輕人選擇離開一線城市,去到二、三線城市或者回到自己的家鄉發展。然而,也有一部分年輕人選擇了重新回歸,在一線城市漂泊、打工、旅行,這種現象也被稱為“回籠漂”。

    中國年輕人“逃離”一線城市,一線城市風光不再還是迫於現實?

    近年來,越來越多的年輕人選擇離開一線城市,去到二、三線城市或者回到自己的家鄉發展。然而,也有一部分年輕人選擇了重新回歸,在一線城市漂泊、打工、旅行,這種現象也被稱為“回籠漂”。

  • 溫哥華明星脫口秀抽獎贈票!中外喜劇,以幽默形式傳遞思考

    溫哥華明星脫口秀抽獎贈票!中外喜劇,以幽默形式傳遞思考

    作為喜劇的“非常態”表達形式,“即興喜劇”完完全全由现场观众给一些主題、線索或是關鍵信息,再由喜劇演員們把这些东西用随机、自然的形式演绎出来。今天,我們和麦浪娱乐创始人之一、大麦喜剧即兴喜剧负责人紫琪一起探討即興喜劇背後的思考。

    溫哥華明星脫口秀抽獎贈票!中外喜劇,以幽默形式傳遞思考

    作為喜劇的“非常態”表達形式,“即興喜劇”完完全全由现场观众给一些主題、線索或是關鍵信息,再由喜劇演員們把这些东西用随机、自然的形式演绎出来。今天,我們和麦浪娱乐创始人之一、大麦喜剧即兴喜剧负责人紫琪一起探討即興喜劇背後的思考。

  • Netflix 韓劇D.P: 逃兵追缉令,霸凌黑暗面背後的思考

    Netflix 韓劇D.P: 逃兵追缉令,霸凌黑暗面背後的思考

    大多數人將霸凌與童年聯繫在一起,但任何年齡段的任何人都可能發生欺凌行為。它也可以採取多種形式,從言語騷擾到身體虐待等等。欺凌行為也不只發生在操場上。個人可能會在網上、辦公室、家里和其他地方遭受霸凌。

    Netflix 韓劇D.P: 逃兵追缉令,霸凌黑暗面背後的思考

    大多數人將霸凌與童年聯繫在一起,但任何年齡段的任何人都可能發生欺凌行為。它也可以採取多種形式,從言語騷擾到身體虐待等等。欺凌行為也不只發生在操場上。個人可能會在網上、辦公室、家里和其他地方遭受霸凌。

1 / 4