機械人,給我來一瓶82年的農夫山泉

2021-09-20 11:22:36 字數 2238 閱讀 1182

「機械人,給我來一瓶82年的農夫山泉。」

收到這個指令,機械人肯定一臉懵逼。

先不說82年的農夫山泉肯定找不到,更現實的問題是,即便是有一瓶現成的農夫山泉,機械人也需要人類更明確、程式化的指令才能完成這個任務,他們不能輕易推斷和推理。

mit電腦科學和人工智慧實驗室(csail)和多倫多大學的研究人員受《模擬人生》(the sims)啟發,開發乙個虛擬家園「virtualhome」 ,不僅讓虛擬機械人成功地製作了咖啡、開啟烤麵包機、在沙發上休息,研究人員還建立了乙個用自然語言描述的家庭任務資料庫,將來可能有助於亞馬遜的alexa等系統執行更複雜的任務。

virtualhome:模擬家庭八個場景中的1000個互動

virtualhome基於三個主要模組:

家庭任務的知識庫,包含如何執行某些公共任務的指令;virtualhome環境

團隊使用了近3000個不同活動的程式來訓練這個系統,這些活動被進一步細分為計算機的子任務來理解。這是因為機械人與人類不同,它們需要更明確的指令來完成簡單的任務,不能輕易地推斷和推理。

例如,乙個人可能會告訴另外乙個人:「開啟電視,在沙發上看吧。」在這句話中,像諸如「拿遙控器」和「坐/躺在沙發上」這樣的動作被省略了,因為它們是人類常識的一部分。

為了更好地向機械人演示這類任務,需要更詳細地描述操作。

僅看電視這個任務,就分了多個步驟

為此,研究團隊首先收集了家庭活動的口頭描述,然後將它們翻譯成簡單的**。像「開啟電視,在沙發上看吧」這樣的指令可能包括以下步驟:

走到電視前,開啟電視,走到沙發前,坐在沙發上,看電視。

該團隊的虛擬機械人可以在virtualhome的世界中執行1000個這樣的互動,其中有八個不同的場景,包括客廳、廚房、餐廳、臥室和家庭辦公室。

程式的獨特之處:包含了執行活動所需的所有步驟

來看一看是具體怎麼操作的。

團隊收集了乙個專門針對機械人的家庭活動的大型知識庫,資料集包含活動以及程式的自然語言描述,以一系列步驟的形式表示活動的正式符號。這些程式的獨特之處在於它們包含了執行活動所需的所有步驟。

每個任務都有乙個高階名稱和乙個自然語言指令,然後團隊為這些任務收集「程式」(下圖左中),標註者(annotators)將指令「翻譯」為簡單的**。

上圖描述在virtualhome中,**根據描述執行生成的程式。注意,最上面的**使用他的左手開啟冰箱和抓取乙個物品,因為他右手已經拿了乙個物體。另外,**還有一些限制,例如,在第三排,**穿著衣服坐在馬桶上。此外,有時攜帶的物品會由於對撞機的不精確而輕微地穿透**的身體。

未來:機械人可能擺脫製造商編寫的任務,從youtube上也能學習

該專案由csail和多倫多大學等高校的研究人員共同開發,將在本月在鹽湖城舉行的cvpr會議上present。

亞利桑那州立大學藝術**和工程系的研究助理qiao wang說:「這一工作將有助於未來真正的機械人個人助理,機械人都可以通過聆聽或觀察身邊的特定人員來學習任務,而不是製造商編寫的每項任務。這使得機械人可以以個性化的方式完成任務,甚至有一天可以通過這種個性化的學習過程呼叫情感聯絡。「

此外,研究的結果不僅僅是完成乙個訓練機械人做家務的系統,它還是乙個使用自然語言描述的家庭任務的大型資料庫。像亞馬遜這樣的公司正在努力在家裡開發類似alexa的機械人系統,最終可以使用這些資料來訓練他們的模型來完成更複雜的任務。

。該團隊還致力於實施獎勵學習系統,讓**在正確執行任務時得到積極的反饋。

原文發布時間為:2018-06-3

機械人,給我來一瓶82年的農夫山泉

新智元編譯 mit電腦科學和人工智慧實驗室 csail 和多倫多大學的研究人員開發乙個虛擬家園 virtualhome 不僅讓虛擬機械人成功做家務,還建立了乙個用自然語言描述的家庭任務資料庫,將來可能有助於亞馬遜的alexa等系統執行更複雜的任務。virtualhome 模擬家庭八個場景中的1000...

kido機械人沒反應 掃地機械人來家了

媽,你看看地面!出去一整天,剛回到家,正站在門口換鞋,兒子滿臉期待地跑過來衝我喊,語氣裡是抑制不住的期待。我看看地面,沒啥變化啊。是不是亮了?我仔細看了看,也就平時那樣,不過還是響應了一句 太陽從西邊出來了,難道說你拖地了?我沒拖,是它拖的!我往裡邊一看,牆上插座旁邊的地面上,乙個圓乎乎的東西,通身...

雙人份科興新冠疫苗上市 一瓶兩人用

sinovac科興生物今天宣布,雙人份劑型的科興新冠疫苗已經正式上市,一瓶可供兩人使用,與一人份劑型的主要區別為顏色和裝量。據悉,2人份劑型的科興克爾來福 新冠疫苗分為單瓶裝 40瓶裝兩種包裝規格,外包裝顏色為紅白相間,在外包裝上www.cppcns.com有顯著的2人份劑型的標識。西林瓶瓶蓋為橙色...