那個花了250美元創辦atari（雅達利）的人，ted dabney，上個月去世了。
ted dabney（全名samuel f. "ted" dabney）可能沒有與他一起創辦雅達利的諾蘭·布希內爾（nolan bushnell）出名，但當年風靡世界的經典遊戲pong，就是出自ted dabney等人之手。
更重要的是，atari系列遊戲不僅豐富了幾代人的童年生活，在計算機史上也功不可沒：deepmind已經能夠操作49款雅達利遊戲，openai強化學習遊戲庫中也包含了大量的雅達利遊戲。
ted dabney幫助發明的atari遊戲pong！，是被ai攻克的遊戲的常客，你能在網上搜到很多構建玩pong！的ai的教程。
2023年12月，deepmind宣布他們研發的ai玩atari遊戲breakout（見下）超過了人類水平，這是deepmind取得的首個突破之一。與pong！類似，breakout是一款單人的桌球遊戲，也即對著牆打桌球。在breakout當中，人類玩家或者ai，用橫板（螢幕底部的紅色粗線條）左右移動接住球（中間的紅點），並用這個球撞擊並消除螢幕上方畫素構成的「牆」，消除完畢後過關。
breakout，最先被ai攻克的atari遊戲之一
breakout的動作簡單，而且能即時得到反饋，非常適於神經網路，也因此，deepmind的ai玩breakout的成績，是專業人類玩家能達到的最好成績的十倍以上。
atari遊戲，蒙特祖瑪的復仇（montezuma revenge）
而其他遊戲就沒有那麼簡單。在另一款atari遊戲「蒙特祖瑪的復仇」（見上）中，目標是找到埋在充滿危險機關的金字塔裡的寶藏。要達到目標，玩家必須達成許多個次級的小目標，例如找到開啟門的鑰匙。
這個遊戲的反饋也不像「breakout」那麼即時，比如在乙個地方找到的鑰匙，也有可能開啟另乙個地方的門。最終找到寶藏的獎勵，是之前的數千次動作的結果。這意味著網路很難將原因和結果聯絡起來。與玩「breakout」的突出表現相反，神經網路目前在「蒙特祖瑪的復仇」遊戲中進展艱難。
deepmind的啟示：智慧型應該完全從經驗中學習
不過，這又帶來了乙個難題——神經網路只能一次玩乙個遊戲。例如，為了玩「breakout」，必須要忘掉玩「pong！」時學會的所有知識。這種遺忘是人工神經網路本身的性質，也是人工神經網路與真正的人類大腦相區別的地方。人工神經網路通過在全系統調整組成它們的虛擬神經元之間連線的強度來學習。一旦改變了要學習的任務，舊的網路連線就會逐漸被重寫。
但是，進展也在發生，deepmind 在2023年3月份發表**，稱已經解決了dnn「災難性遺忘」的問題，deepmind研究員讓網路就像真正的人類大腦一樣，能一次掌握許多個遊戲。這是遷移學習——在乙個上下文中使用從另乙個上下文學會的行為模式的能力——這是 ai 研究中的乙個熱門話題。
deepmind研究，學習兩項任務過程的示意圖：使用ewc演算法的深層神經網路能夠學習玩乙個遊戲，然後轉移它學到的玩乙個全新的遊戲。
但即便掌握了遷移學習，構建可以用的人工智慧仍然是一些零散的活動。研究人員真正希望得到的，是如何系統地進行這些活動的一種基本的理論。這種理論的乙個候選，被稱為具身認知（embodied cognition）的理論認為，智慧型應該完全從經驗中學習，而不是試圖將智慧型從頭開始設計到乙個程式裡。
現實世界是最大的遊戲場
deepmind 的創始人 demis hassabis 認為，重要的事情是得確保虛擬機械人不會作弊。它只能使用虛擬的感測器可以收集到的資訊進行導航。如果乙個機械人要在「蒙特祖瑪的復仇」或者「俠盜獵車手」遊戲中學習度過重重危險，它必須得自己弄明白自己在遊戲環境裡的位置，處理當時「看到」的事情，而不能問執行遊戲的計算機它在那個座標。這是 deepmind 教程式學習玩遊戲採用的方式。
在虛擬世界裡的ai可以做很多事情，虛擬機械人是沒有重量的，也沒有各種部件，因此不需要維護。要改變它的技術引數也不需要拆開它，敲幾下鍵盤就可以了。它的環境也可以輕鬆改變。一台計算機，一次就可以執行數千個這樣的模擬，讓大量虛擬機械人一次又一次地嘗試任務，每次嘗試都是在學習。這是一種大規模的測試，而且允許學習過程被監視和理解，根本就不使用真實的機器。
ai攻克的atari遊戲（部分，列表還在增加中……）
原文發布時間為：2018-06-5
一周快訊 宜家創始人去世，《旅行青蛙》團隊發話
1 宜家創始人ingvar kamprad去世 宜家家居創始人 ingvar kamprad 先生於當地時間 1 月 27 日去世，終年 91 歲。宜家集團在一則宣告中宣布了這條訊息。kamprad 先生在親友的陪伴下逝世於家中，死於疾病。kamprad 先生是20世紀最偉大的企業家之一。宜家集團在...
Deepin 作業系統聯合創始人宣布離職
作為國內做的最好的 linux 發行版，源自 debian sid 的 deepin 目前正面臨重重困境，新版本不斷延期，開發人員離職，bug 長期得不到修復，和 debian ubuntu 的相容性問題也面臨越來越嚴重的挑戰。如今，雪上加霜的事情發生了，其聯合創始人王勇離職，deepin 的前途更...
Deepin 作業系統聯合創始人宣布離職
作為國內做的最好的 linux 發行版，源自 debian sid 的 deepin 目前正面臨重重困境，新版本不斷延期，開發人員離職，bug 長期得不到修復，和 debian ubuntu 的相容性問題也面臨越來越嚴重的挑戰。如今，雪上加霜的事情發生了，其聯合創始人王勇離職，deepin 的前途更...