AI最前線：“遺忘”在神經網路中的重要性

摘要： 選自medium， 作者： Albert Ierusalem 機器之心編譯， 參與：高璇、張倩 引言 人的大腦中有多種遺忘形式，這是一個正常、可適應且必要的學習過程。其中一個有趣的活躍形式是通過將某一瞬間不必要的資訊轉移到無意識記憶中，幫助我們把注意力集中在一些特...

選自medium， 作者： Albert Ierusalem

機器之心編譯， 參與：高璇、張倩

引言

人的大腦中有多種遺忘形式，這是一個正常、可適應且必要的學習過程。其中一個有趣的活躍形式是通過將某一瞬間不必要的資訊轉移到無意識記憶中，幫助我們把注意力集中在一些特別的任務上。德國心理學家 Hermann Ebbinghaus 是第一個通過實驗研究記憶的人。他在早期的實驗中遇見了一個問題，就是無法證明某些東西已經完全被遺忘了。因為遺忘的資訊仍然會影響人類行為，而且會在未來被喚醒。因此，遺忘被這樣定義——在某一特定時刻無法從記憶中獲得資訊，而這些資訊在早期的記憶中是易於獲取的。

後續的記憶實驗是在靜水椎實螺上進行的，它們的神經細胞非常大，其中的神經都可以被識別出來，對應的功能也有相應的描述。靜水椎實螺依賴某一個神經細胞，沒有它就無法學習新技能。一旦這個細胞被破壞，椎實螺就會失去學習能力，但之前學習到的行為不會被遺忘。本研究提出的模型將這項功能遷移到人工神經網路當中，並定義了具有主動遺忘機制的架構，因此該模型被命名為主動遺忘機器（AFM）。AFM 包含特殊的神經網路，可以通過禁用多餘神經元暫時遺忘不必要的資訊，然後啟用其他神經元組，以學習和解決某些任務。

主動遺忘機制

在經典的人工神經網路解釋中，隱藏層中的所有神經元最初都是被啟用的，為了完成某一特定任務，有必要關閉其中的一些神經元，即有必要「遺忘」所有不必要資訊。在人工神經網路中，啟用是指神經元在評估中參與正向傳播，在訓練中參與反向傳播。

雖然多工處理能力可以實現在多個問題間相互切換，但它在解決單個問題上也很有用。幾乎任何任務都可以分解成幾個子任務，分解深度隨著基礎任務的複雜度而增加。在多級環境中實現一個目標也是個問題。當引入主動遺忘機制時，該模型可以通過將任務分解成簡單的步驟，併為每個子任務訓練獨立的神經元組合，從而簡化目標。這個技巧增加了模型選擇正確步驟的能力。

基於變分演算法 E 的 AFM 模型

主動遺忘機器模型由遺忘網路 V、關聯控制器 C 和遺忘演算法 E 組成，可以利用它找到最優且最小的必需神經元組 F。在這個模型中，訓練 C 以啟用正確神經元 F，V 專注於特殊任務 M。遺忘網路 V 利用遺忘層，這些遺忘層可在二元掩碼上（前向或反向）應用多層神經元。

關聯控制器 C 是一個具有輸出層大小的神經網路，擁有與 V 遺忘層相同數量的神經元，其中 C 被訓練成每次接收任務 M 的任意樣本時發出由演算法 E 定義的掩碼 Ft

基於進化演算法 E 的 AFM 模型

例如，如果要解決的問題涉及兩個不同的任務 A 和 B，那麼達成目標的步驟也會改變。為了解決這兩個問題，模型應該明確定義各組神經元，Fa 是對任務 A 的行為表現反饋。定義好 Fa 後，模型會訓練一個完全不同的神經元組 Fb，以完成任務 B。一旦兩組神經元被定義，根據具體情況，模型可以切換策略，以啟用不同的神經元組。

假設

人們普遍認為，人工智慧系統還無法處理深層結構的任務。但這個假設論證瞭解決這一問題的另一種觀點。人們可以利用主動遺忘系統來解決深層結構任務。如果主動遺忘系統被引入人工智慧系統，可做出如下假設：

• 遺忘是普遍的層級架構

• 計劃無用悖論

假設 1：主動神經遺忘過程的層級引發 agent 對環境層級過程的處理。神經元組 Fh 分配到任務中，神經元子組 Fhh 被分配到子任務中，其中 h 是環境的任務層級。

為了解決任務分層問題，現有的 AI 架構將任務分為不同層級。在時間抽象上，模型會被分為兩個或兩個以上的層段，但無法清晰地定義各個層級。同樣也不可能確定某個特定任務最終屬於哪一個層級。

有了 AFM，就可在神經元空間進行操作。神經元被各個任務所定義，雖然模型學習新的任務，但從眾多神經元中被選擇的神經元可以解決更高階的問題，這使向新任務的遷移學習變得更迅速，因為神經元已經在相同環境中訓練用於更普遍的任務中了。

假設 2：如果只基於經驗，系統可以在每種情境下選擇正確的行動，那計劃就無關緊要了。

在經典概念中，計劃是指在面臨即將來臨的活動過程中採取最優的行動。如果環境分層深度最小，那為了實現目標而設定完美的計劃無疑是可行的。但如果分級深度不確定，那預測動作的序列會變長而且代價高昂。

Atari 2600 的遊戲 MONTEZUMA'S REVENGE 就是論證這些假設的例子。本研究利用自然語言指導的強化學習，在自然語言指引下提出用自然語言指令進行任務隱式分解。如果每一組指令都作為一個獨立任務呈現，那很可能就從自然語言空間遷移到神經元空間了。接著當從子任務遷移到子任務時，某些神經元會被啟用，這會使 agent 在每一個子任務中都有有益的行動。如果定性訓練架構，那每個子任務就無需進行計劃。agent 能夠僅基於經驗直接執行操作，以完成下一目標。所以也不需要計劃需要完成的子任務順序，因為一旦系統在一個子任務中完成了目標，就意味著它已經正確地傳遞到下一個子任務當中了，子任務的正確性和主目標是相關的。

也不能說計劃一無是處。強化學習計劃作為明確的活動也被認為是子任務之一。在某些情況下，如在其他任務中，agent 可以完成計劃。計劃機制被用來設定目標，而且可以定性地確定需要啟用的神經元組來解決問題。將克服遺忘和視覺強化學習與想象目標相結合，可以幫助模型設定一些目標，更正確地啟用必要的神經元組。相比計劃策略，這種方法節省了資源，因為所有必要動作的資訊都儲存在神經元當中。

論文：Catastrophic Importance of Catastrophic Forgetting

論文連結：https://arxiv.org/pdf/1808.07049.pdf

原文連結：https://medium.com/@AIerusalem/catastrophic-importance-of-catastrophic-forgetting-c1c2a245a662

宣告：本文來自安全內參，版權歸作者所有。文章內容僅代表作者獨立觀點，不代表安全內參立場，轉載目的在於傳遞更多資訊。如需轉載，請聯絡原作者獲取授權。