0800-000-964

機器人現在會自我學習了！DeepMind 是怎麼做到的？

取自：INSIDE

您好，我們是傑愛得資訊，歡迎來到我們的媒體聯播網

2023/08/20 INSIDE 硬塞的網路趨勢觀察機器人、 DeepMind 、 RT-2 、邏輯推理、語言指令、自我學習、影像辨識、 RT-2 模型、指令理解能力

DeepMind 開發的 RT-2 模型為機器人帶來了新的里程碑，讓機器人能夠透過語言指令進行邏輯推理和影像辨識。

Shutterstock

本文作者林子鈞。

下方繼續閱讀

jAD Ads 聯播廣告

曝光6,789/日成本100/月

下文請點廣告解鎖

投放Google多媒體聯播網廣告(點此)arrow_downward，包含轉換代碼安裝

※ 如果看到投資類型廣告，請再三評估風險！

繼續閱讀keyboard_double_arrow_down

DeepMind 開發出的 RT-2（Robotic Transformer 2）模型，讓機器人能夠透過語言指令，進行邏輯推理，並藉由影像辨識的方式完成指令，這將在人類培訓機器人的路上，踏出了一個新的里程碑。

過去要讓一個機器人能正確運轉，我們需要先訓練機器人分辨每個物體，其後才能開始訓練，而這件事並不是做了就一勞永逸，而是你必須要根據每個機器人的特化功能，去設計不同的培訓內容，進而使它能正確的執行任務。

不過 RT-2 演算法不同，它的核心競爭力就在於透過網路來的大量數據和影像，讓機器人能理解語言指令，辨識出不同的物體，並嘗試找出執行的方法。不單單是簡單的指令，它甚至可以自己進行一些推理，例如：找手邊的東西當作槌子使用。這代表 RT-2 能展示出更強的指令理解能力，並具有一定的正確性，為機器人的自我學習建立了一種新的可能性。

DeepMind 舉了幾個實例，例如：RT-2 可以在未經訓練的狀況下，就辨識出桌面的哪個物體屬於垃圾，並把它丟進垃圾桶；又或者是，請他找出桌上物體中的滅絕動物，它可以從各種奇怪的物體中準確的挑出恐龍。在不是指名恐龍或垃圾，但卻能精準辨識出的過程，證明了 RT-2 具備的基礎邏輯推理能力，而這相對於過去的機器人訓練，實現了非常大的革新。

DeepMind 是怎麼做到的？
RT-2 裡面有幾個主要的構成要素：視覺語言模型（VLMs）、還有機器人。

視覺語言模型的部分，DeepMind 透過大量的網路數據訓練，能夠輸入單個或多個圖像，並生成一系列的標記，讓後續模型可以做到視覺問答、圖像說明或物體識別等任務。視覺語言模型的根基來自於過去 Google 發表的自然語言模型 PaLM-E，以及語言圖像模型 PaLI-X。

而要控制機器人，它必續被訓練收到指令後要如何動作，DeepMind 採用的作法是把動作拆解為自然語言模型可以理解的字符，來讓機器人理解針對不同的指令要如何運作。

這種字符串的示例可以是機器人動作標記編號的序列，例如“1 128 91 241 5 101 127 217”。

語言模型生成的字串，會以一個指令是否繼續或終止當前情節的標記，然後是更改末端執行器的位置和旋轉的命令，以及機器手臂的所需延伸距離。

這部分根基於過往 DeepMind 的 RT-1 實驗，並採用了相同的動作版本，讓在機器人身上訓練模型成為了可能。

Photo Credit: DeepMind

不只是執行命令，RT-2 是個會自己思考的機器人
開頭我們說過，RT-2 代表的其實是對於機器人長期訓練的重要里程盃。

DeepMind 在 RT-2 的目標設計上，認為其需要具備三個主要的目標，包含理解指令、推理和人類識別。

為了讓 RT-2 在後續的發展性更強，DeepMind 讓 RT-2 模型接觸了諸多任務，而這些任務中存在它並不在之前的訓練中見過的物體、環境，並出了一些邏輯題，檢測 RT-2 演算法是否能正確理解，這其中包含了非常多情境，例如下圖這個將番茄醬移到藍色立方體旁邊，在這個實驗中，除了藍色立方體以外，其他物體 RT-2 都沒見過，但最後他能正確的找到番茄醬，並將其移到藍色立方體旁邊完成任務。

Photo Credit: DeepMind

可能有人會懷疑番茄醬瓶子上有寫字，是不是作弊？可能就是怕別人這樣想，所以 DeepMind 要求 RT2 證明自己，例如下圖這張示意，問機器手臂：「我需要釘釘子，在這個情況中那些東西有用？」

最後他能成功地找出石頭作為答案。

Photo Credit: DeepMind

在 RT-2 目前為止的實驗結果中，相較於之前類似功能的演算法，其泛用性能顯著提高了三倍以上，優於過去的 RT-1 版本，實現了性能的突破性飛升。這或許也代表，後續不管在智慧工廠或是家用情境上，未來的幾年，我們都能期待多功能的機器人讓我們的生活變得更方便了。

最後放上 DeepMind 花式訓練 RT-2 的任務集，沒想到還有 Talor Swift 和金塊隊，機器人懂得可能比某些人類還要多呢。

Photo Credit: DeepMind

參考資料：

RT-2: New model translates vision and language into action

New DeepMind AI model can control robotic actions it was never trained to do

責任編輯：Mia
核稿編輯：Chris

點此投放Google多媒體聯播網廣告

※ 如果看到投資類型廣告，請再三評估風險！

post_add 資料來源：INSIDE

回智庫 apartment | 超玩媒

#GOOGLE

#Swift

Ads by jAD

網站+主機+網域+廣告，找我們一次解決

傑愛得資訊領先業界

國際認證獎項報導

我們是業界少數同時具備數位行銷、系統開發、雲端服務的數位整合專業團隊

─ 2021.05

【2024年亞太區年度AI人工智慧廣告科技公司】封面人物
榮獲 MarTech Outlook 美國期刊評選

【2023年亞太區20大傑出AI人工智慧解決方案服務商】
榮獲 APAC CIO Outlook 美國矽谷期刊評選

【2024年值得關注的30大領先企業】
榮獲 CIO Bulletin 美國期刊評選

取得AI廣告追蹤技術國家發明專利

ISO/IEC 27001:2022 Lead Auditor 資安管理系統主導稽核員

explore 發展趨勢

bookmark_star 查看資歷

【2024年亞太區年度AI廣告科技公司 AI Advertising Technology Company of the Year in APAC 2024】封面人物，榮獲MarTech Outlook期刊評選
【2024年全球十大最具影響力的領導人 Top 10 Best Global Influential Leaders of 2024】榮獲Business Frontier雜誌評選
【2024年值得關注的30大領先企業 30 Leading Companies to Watch 2024】榮獲CIO Bulletin期刊評選
【2023年最具啟發性的企業領袖總裁】榮獲CXO Outlook美國期刊評選
【2023年亞太區20大傑出AI人工智慧供應商】榮獲《APAC CIO Outlook》矽谷科技期刊評選
Google Ads 全台灣第一個金融業智慧出價2.0成功案例。
多年數位行銷經驗，為Google Partners徽章認證經銷，代理Google, Facebook, Dcard, Microsoft, Yahoo apollo，並提供旗下jAD Ads聯播網廣告。
擁有AI數位廣告技術專利。全台灣第一家擁有專利的廣告代理商。
全台獨家推出 Google語音助理專用廣告。
2018年台灣地區Google Ads帳戶優化品質第一。
每月代客操盤數位廣告投放金額達800萬台幣。Google Ads代理累計超過4億台幣+。
回饋Google官方協助Google Ads廣告系統優化與無效點擊分析。
參與過多次台灣地區選舉網路廣告，2018年為候選人輔選衝出第一高票，當選率100%。
曾為某家無品牌客戶三年內在網路上陌生開發一億業績。
曾為企業旗下三網站在Yahoo!奇摩搜尋引擎優化SEO，自然搜尋關鍵字排名前三名(第一名~三)。
旗下經營自媒體與電商。
曾研發Yahoo!關鍵字廣告惡意點擊反擊程式。
曾為客戶品牌行銷，透過搜尋行銷SEM讓關鍵字在產業TA形成Google熱搜。
領先業界研發網站人潮之網頁定點閱讀率分析。
領先業界研發網站全通路人潮分析系統，直接於訂單中分析客戶來訪的廣告來源(搜尋/FB/LINE/WeChat)、客戶搜尋的關鍵字、客戶點閱的廣告文案。
為全端網站設計團隊，並具有多年網路行銷經驗。
擔任企業網路行銷顧問講師，專門破解同業暗黑行銷術。提供網醫數位行銷診斷服務

立即聯絡

Google數位行銷服務關鍵字搜尋聯播網廣告 GDN 多媒體聯播網廣告 YouTube 影片聯播網廣告 Performance Max PMax最高成效廣告購物廣告智慧型廣告探索廣告應用程式廣告 motion_sensor_active 轉換追蹤規劃設定服務類別 AI 網路廣告 AI 網站系統 AI 雲端主機 AI 人工智慧 AI SEO優化站內搜尋 medication 網醫診斷 AI客服 LINE id: @vhp8681s [email protected] 傑愛得資訊 Jump AD 聯絡： 0800-000-964 WeChat id: godzilla1128
			聯絡我們