在國際象棋和國際象棋中，計算機軟件的功能非常強大。 只有圍棋是唯一“計算機打不過人類”的游戲。 今年1月份曾有爆料：谷歌開發的人工智能圍棋程序以5：0的壓倒性優勢擊敗了歐洲圍棋冠軍、職業二級選手。 然后在三月，我將對陣韓國九段、世界冠軍李世石。 如果這場戰斗獲勝，這意味著人工智能真正具有里程碑意義的勝利。

這也引起了筆者的好奇心。 春節期間，我和田元東（背景無可挑剔，卡內基梅隆大學機器人系博士，X自動駕駛汽車核心團隊研究員，人工智能組研究員）進行了交流。 他還做電腦。 Go AI - 黑暗森林（熟悉三體的朋友就知道是怎么回事了）。 今年1月，他的文章被機器學習頂級會議ICLR 2016接收。 （表達學習在國際上也被稱為深度學習或特征學習，在機器學習中得到了廣泛的應用。學習社區已經開辟了自己的一席之地，成為學術界的新寵。）

聊天中，他提到，谷歌收購后，在人工智能項目上投入了大量資源，無非就是想向世界證明谷歌智能的強大。 在頂級期刊《》上發表論文的作者僅有20人。 看得出來，花了很多錢。 前兩位都是計算機圍棋領域的巨頭。 一個是計算機圍棋和強化學習方面的頂級專家，整個博士論文都是靠它寫的。 去; 第二部作品 Aja 編寫 Go 軟件多年，我處于 ??AGA 6D 的水平。

廢話不多說，下面是CTO對其工作原理的解讀。 原文見參考文獻

－－－－－－－－－－－－－－－－－

谷歌宣布他們開發的神經網絡圍棋AI擊敗了人類職業棋手。 本文由等人完成。 內部技術出人意料地簡單但功能強大。 為了方便不熟悉技術的新手理解，這里我對系統的工作原理進行解讀。

深度學習

“深度學習”是指多層人工神經網絡及其訓練方法。 一層神經網絡以大量矩陣數作為輸入，通過非線性激活方法選擇權重，然后產生另一個數據集作為輸出。 這就像生物神經腦的工作機制一樣。 通過適當數量的矩陣，將多層組織連接在一起，形成神經網絡“大腦”，進行精確而復雜的處理，就像人們識別物體和注釋圖片一樣。

盡管神經網絡已經存在了幾十年，但情況直到最近才變得更加清晰。 這是因為它們需要大量的“訓練”才能發現矩陣中的數值。 對于早期的研究人員來說，獲得良好結果所需的最低訓練量遠遠超過了計算能力和可用數據的大小。 然而，近年來，一些擁有海量資源的團隊重新挖掘神經網絡，利用“大數據”技術對其進行高效訓練。

兩個大腦

它是兩個不同的神經網絡“大腦”的合作來提高國際象棋水平。 這些大腦是多層神經網絡，其結構類似于圖像搜索引擎用于識別圖像的神經網絡。 他們從多層啟發式 2D 過濾器開始處理圍棋棋盤的定位，就像圖片分類器網絡處理圖像一樣。 經過過濾后，13 個完全連接的神經網絡層會對它們看到的位置做出判斷。 這些層能夠進行分類和邏輯推理。

這些網絡通過反復訓練來檢查結果，然后校對和調整參數，使下一次執行得更好。 這個處理器具有很大的隨機性，所以不可能準確地知道網絡是如何“思考”的，但更多的訓練可以讓它進化得更好。

第一腦：移動選擇器（Move）

第一個神經網絡大腦是“監督學習策略網絡（ ）”，它觀察棋盤的布局，試圖找到最好的下一步行動。 事實上，它預測每個合法下一步的最佳概率，因此第一個猜測是概率最高的。 您可以將其視為“移動選擇器”。

走棋選擇器如何看待棋盤？ 這些數字表明最強的人類玩家可能會在哪里下注。

該團隊通過在 KGS（在線圍棋對戰平臺）上與最強大的人類對手下數百萬步棋來訓練大腦。 這是最有人情味的地方。 目標是學習頂級玩家的技巧。 這并不是為了獲勝，而是為了找到與人類高手相同的下一步行動。 招式選擇器正確匹配了 57% 的人類大師。 （不一致并不意味著錯誤，可能是人類自己犯的錯誤）

更強的移動選擇器

該系統實際上需要兩個額外的移動選擇器大腦。 一種是“強化學習策略網絡（ ）”，它是通過數百萬輪額外的模擬來完成的。 你可以稱之為更強。 與僅教網絡模仿單個人的動作的基本訓練相比，高級訓練將每場模擬國際象棋比賽玩到底，教網絡最有可能獲勝的動作。 該團隊通過更強大的走棋選擇器總結了數百萬個訓練棋局，這比他們之前的版本迭代程度更高。

僅僅使用這個走法選擇器就已經是一個強大的對手了，達到了業余棋手的水平，或者可以與之前最強的圍棋AI相媲美。 這里重要的是這種移動選擇器不會“讀取”。 它只是查看單個棋盤位置并提出從該位置分析的移動建議。 它不模擬任何未來的動作。 這證明了簡單深度神經網絡學習的力量。

更快的移動選擇器

當然，團隊并沒有就此止步。 下面我將講解如何賦予AI閱讀能力。 為了做到這一點，他們需要一個更快版本的移動選擇器大腦。 更強的版本需要更長的時間 - 足夠快以做出良好的動作，但“閱讀結構”需要在做出決定之前檢查數千種可能的動作。

該團隊構建了一個簡單的移動選擇器來制作“快速閱讀”版本，他們稱之為“滾動網絡”。 簡單版本不會看整個19*19的棋盤，而是會考慮對手之前的棋子和新的棋子來觀察更小的窗口。 去掉部分招式選擇器大腦會失去一些力量，但輕量級版本可以比以前快1000倍，這使得“閱讀結構”成為可能。

第二大腦：國際象棋游戲評估器 ( )

與走棋選擇器相關的第二個大腦是回答另一個問題。 它不是猜測具體的下一步行動，而是在給定棋子的位置的情況下預測每個玩家獲勝的概率。 這個“態勢評估器”就是文中提到的“價值網絡（·）”，它通過全局判斷來輔助走棋選擇者。 這個判斷只是大概的，但是對于提高閱讀速度很有幫助。 通過將未來潛在的情況分類為“好”或“壞”，可以決定是否進一步閱讀特定的變體。 如果位置評估器說這個特定的變體是不可能的，那么人工智能就會跳過讀取沿著這條線的任何進一步的移動。

職位評估員如何看待董事會。 深藍色表示有利于獲勝的下一步棋。

位置估計器還接受了數百萬場國際象棋比賽的訓練。 該團隊通過復制兩個最強的走棋選擇器來仔細選擇隨機樣本來創建這些位置。 這里，AI 走法選擇器在高效創建大規模數據集來訓練位置評估器方面非常有價值。 這種走棋選擇器可以讓大家模擬多種繼續下棋的可能性，從任意給定的棋盤情況猜測雙方大概獲勝的概率。 然而，目前還沒有足夠的人類棋局來完成這種訓練。

增加閱讀量

這里有三個版本的走法選擇大腦，加上態勢評估大腦，可以有效讀取未來的走法和步驟。 與大多數圍棋人工智能一樣，閱讀是通過蒙特卡羅樹搜索（MCTS）算法完成的。 但它比其他人工智能更聰明，可以更智能地猜測要檢測哪種變體以及需要檢測的深度。

蒙特卡羅樹搜索算法

憑借無限的計算能力，MCTS理論上可以通過探索每場比賽中可能的走法來計算出最佳走法。 但對于圍棋來說，未來走法的搜索空間太大（大到我們的認知宇宙中存在更多的粒子），而且事實上人工智能沒有辦法探索每一種可能的變體。 MCTS 比其他人工智能做得更好的原因在于識別有益的變異，從而可以跳過一些負面的變異。

該團隊安裝了 MCTS 系統的模塊，該框架允許設計人員嵌入不同的功能來評估變體。 最終的全速系統使用所有這些大腦，如下所示。

1. 從當前的棋盤布局中，選擇下一步可能采取的行動。 他們使用了基本的移動選擇器大腦（他們試圖使用更強的版本，但實際上使它變得更弱，因為它不允許MCTS提供更廣泛的選擇空間）。 它專注于“明顯最好”的動作，而不是大量閱讀，而不是選擇以后可能有益的動作。

2. 對于每個可能的移動，有兩種方法來評估質量：要么在移動后使用板載位置評估器，要么運行更深入的蒙特卡羅模擬器（滾動）來考慮未來的移動，使用快速讀取移動選擇器以提高搜索速度。 每個猜測都使用一個簡單的參數“混合相關系數”進行加權。 最大馬力采用50/50的混合，利用態勢評估器和模擬滾動來做出平衡判斷。

本文包含對功能變化和上述步驟的模擬，因為它們隨所使用的插件而變化。 僅使用獨立的大腦大約與最好的計算機圍棋人工智能一樣強，但當使用這些綜合方法時，有可能達到職業人類棋手的水平。

能力變化與是否使用MCTS插件有關。

本文還詳細談到了一些工程優化：分布式計算、網絡計算機來提高MCTS的速度，但這些并沒有改變基本算法。 這些算法中有些是精確的，有些是近似的。 在特殊情況下，通過更強的計算能力來變得更強，但計算單元的提升速度隨著性能的變強而變慢。

的優點和缺點

我認為它在小規模戰術中會非常強大。 它知道如何在多種位置和類型中找到最佳的人類動作，因此在小范圍的戰術條件下它不會犯明顯的錯誤。

但整體判斷上存在弱點。 它看到了一個通過 5x5 金字塔過濾的棋盤，這給將戰術部分整合到戰略整體中帶來了麻煩，就像圖像分類神經網絡往往會混淆什么包含一件事和另一件事一樣。 例如，在圍棋中，角上的設定位置會創建一堵墻或鉛，這將極大地改變另一個角的位置估計。

就像其他基于MCTS的AI一樣，判斷大體情況還是比較麻煩，需要深入閱讀才能解決，比如龍的生死。 你也會對一些刻意看起來正常的游戲失去判斷力，比如天元開局或者稀有的套路谷歌人工智能李世石，因為很多訓練都是基于人類的棋局庫。

我還是很期待和李世石的九段對決！ 我的預測是：如果李使用直（）風格，就像與其他職業棋手對決一樣，他可能會輸，但如果將他置于不熟悉的戰略情境中，他可能會贏。

－－－－－－－－－－－－－－－－－－

分割線結束于原文的末尾。 下面是董老師的抒情詠嘆調：）

說到這里我又想起了另一個人，中國最強大腦選手包偉。 我看著他走出蜂窩迷宮，被他超強的空間記憶力和想象力深深震撼了。 他的職業是圍棋棋手，他是盲棋。 他能完成1到5盲圍棋谷歌人工智能李世石，確實令人難以置信。 在圍棋圈子里，幾乎沒有棋手能夠完成盲棋，因為盲棋實在是太難了。 筆者也詢問了他對此事的看法。 他說歐洲冠軍沒能理解這個程序，但從國際象棋的角度來看，我很難贏谷歌程序，而且我確實下得不錯。 盡管圍棋社區一致看好李世石，但我不確定谷歌的計劃在三月份會進展到什么程度。

說起田博士，與谷歌超豪華團隊長期投入不同，他這個項目從立項到實現已經有半年多的時間了。 直到最近，一名實習生加入來幫助他。 這背后是他的辛苦付出。 為了搶時間，他在圣誕節開始了項目，新年都是加班。 據他介紹，他每天工作 10 多個小時，自己搭建機器、編寫代碼、調整參數，一手完成成果。

在談到與谷歌團隊的競爭時，田博士說：“這是一場必敗之戰”，但我還是很佩服他。 讓我想起了三國時代的趙子龍，單槍匹馬對抗曹軍，威力一絕！ 因為他是一個真正的戰士。 正是因為這些勇敢無畏的科學家一次次打破規則、挑戰極限，才讓我們知道了人類的巨大潛力。 短短幾年的發展，從大數據、深度學習人工智能到虛擬現實，從類地行星的發現到引力波的確認，從無人駕駛到量子計算，這些令人著迷的技術讓我們了解了世界。 意識上升到新的高度。 面對這個激動人心的時代，我想說，天空是我們的極限，宇宙是我們的極限，未來是我們的極限！

最后請允許我以田博士的話作為結束。

有時我會問自己：“我放棄了我的夢想嗎？” 我想除了我自己沒有人能給我答案，任何評論都是無效的。 記得有人問，如果一個夢從一開始就無意識地向現實妥協，那個夢還是原來的夢嗎？ 其實，面對這樣的問題，沒有什么好糾結的，因為世界從來就不是二元的。 夢想與現實就像日月高懸。 日月之間，有一條灰色的路，在你的腳下蜿蜒，繞過各種險阻，繼續前行。

“而我能做的就是在跑步時不斷提醒自己，記住‘夢想’這個詞的含義。”

參考

如何

紙：

閱讀有關論文的筆記

關于圍棋人工智能的新想法

186信息網原創文章，轉載請注明本文來自：www.xt88.cn