自然語言理解

我認為最大的開放性問題都與自然語言理解有關。

[…] 我們應該開發能夠以人類的方式去閱讀和理解文本的系統，通過形成一種文本表示的世界，其中有 agent、對象、設置，以及 agents 之間的關係、目標、慾望、信念，以及其他一切人類為了理解一段文字而創造的東西。在做到這一點之前，所有的進展都是在改進我們的系統進行模式匹配的能力—— Kevin Gimpel

在我們的調查中，許多專家認為自然語言理解 (natural language understanding, NLU) 是一個核心問題，因為它是許多任務的先決條件，例如自然語言生成 (NLG)。大家的共識是，我們目前的模型沒有一個顯示出對自然語言的「真正」 理解。

先天的偏見 vs. 從頭開始學習

一個關鍵的問題是，為了更接近自然語言理解，我們應該將什麼樣的偏見和結構顯式地構建到我們的模型中？在我們的調查中，許多回復提到模型應該包含常識。此外，對話系統 (和聊天機器人) 也多次被提及。

另一方面，對於強化學習，David Silver 認為人們最終會希望模型自己學習所有東西，包括演算法、特徵和預測。許多專家持相反的觀點，他們認為你應該在模型中構建一些理解。在 2018 年 2 月 Yann LeCun 和 Christopher Manning 之間的辯論中，也探討了模型應該學習什麼，以及應該將什麼作為模型的固有先驗 (hard-wired priors)。

參考閱讀：

【AI蝙蝠俠vs超人】LeCun論戰Manning：語言是通用智能的鑰匙？?

程序合成 (Program synthesis)

Omoju 認為，只要我們不瞭解自然語言理解背後的機制和如何評估這些機制，就很難將理解納入其中。她認為，我們可能希望從 program synthesis 中獲取想法，並自動學習基於高級規範的程序。這種觀點與神經模塊網路和神經編程解釋器 (neural programmer-interpreter) 有關。

她還建議，我們應該回顧 80、90 年代時最初開發的方法和框架，比如 FrameNet，並將這些與統計方法結合起來。這應該有助於我們推斷出對象的常識屬性，比如推斷一輛車 (car) 是否屬於車輛(vehicle)，具有把手(handles)，等等。推斷出這些常識知識也是 NLP 領域近期的一個焦點問題。

具身學習 (Embodied learning)

Stephan 認為，我們應該使用可用的結構化資源和知識庫 (如 Wikidata)。他指出，人類通過體驗和互動，融入到環境中來學習語言。有人可能會爭辯說，存在一種單一的學習演算法，只要 agent 嵌入在足夠豐富的環境中，並具有適當的獎勵機制，就可以從頭開始學習 NLU。然而，對這樣的環境的計算量將是巨大的。相比之下，AlphaGo 需要龐大的基礎架構才能解決有明確定義的棋類遊戲。創建一個可以持續學習的通用演算法這種觀點，與過去提出的終身學習和通用問題解決器有關。

雖然許多人認為我們正朝著具身學習 (embodied learning) 的方向前進，但是我們不應該因此低估一個 embodied agent 所需的基礎架構和計算。因此，等待一個成熟的 embodied agent 來學習語言似乎是不明智的。但是，我們可以採取一些步驟使我們更接近這個極限，例如在模擬環境中進行基礎語言學習、結合交互或利用多模態數據。

情感

Omoju 認為將與情感相關的人類因素融入到一個 embodied agent 中是非常困難的。然而，情感與對語言更深層次的理解是息息相關的。另一方面，我們可能不需要真正具有人類情感的 agent。Stephan 認為，圖靈測試被定義為模仿，雖然沒有情感，但卻能愚弄人們，讓人們認為它有情感。因此，我們應該能夠找到解決方案，不需要 embodied，也不需要情感，但能瞭解人們的情感並幫助人們解決問題。事實上，基於感測器的情感識別系統一直在改進，文本情感檢測系統也是。

認知和神經科學

一位聽眾問，我們在模型中利用和構建了多少神經科學和認知科學的知識。神經科學和認知科學的知識可以給你帶來很大的啟發，並成為塑造你的思維的準則。例如，有一些模型試圖模仿人類快速和慢速思考的能力 [1]。正如 Surya Ganguli 在這篇文章中所闡述的，人工智慧和神經科學在許多方面是互補的。

參考閱讀：

斯坦福學者：生物智能可能是解決AI發展瓶頸的關鍵?

mp.weixin.qq.com

Omoju 建議從認知科學理論中汲取靈感，比如 Piaget 和 Vygotsky 的認知發展理論。她還敦促大家開展跨學科的工作，這一觀點得到了其他專家的響應。

用於低資源場景的 NLP

處理 low-data 的設置 (低資源語言、方言(包括社交媒體文本這種「方言」)，等等)。這不是一個完全「開放性」 的問題，因為已經有很多有前途的想法；但我們仍然沒有一個通用的辦法能夠解決這個普遍問題。

– Karen Livescu

我們探討的第二個主題是在低資源場景中，超出訓練數據的限制進行泛化。考慮到 Indaba 是在非洲舉行的會議，一個自然的關注點就是低資源語言。第一個問題集中在是否有必要為特定的語言開發專門的 NLP 工具，還是研究通用 NLP 就夠了。

通用語言模型

Bernardt 認為，語言之間存在普遍的共性，可以被一個通用語言模型所利用。接下來的挑戰是獲取足夠的數據和計算力來訓練這樣的語言模型。這與最近訓練跨語言的 Transformer 模型和跨語言句子嵌入的工作密切相關。

跨語言表示 (Cross-lingual representations)

Stephan 指出，使用低資源語言的人不夠多。僅非洲就有 1250-2100 種語言，其中大多數語言很少受到 NLP 社區的關注。專用工具的問題也取決於正在處理的 NLP 任務。當前模型的主要問題是樣本效率。跨語言的辭彙嵌入非常高效，因為它們只需要單詞翻譯對，甚至只需要單語數據。它們可以很好地對齊詞嵌入空間，以完成主題分類這樣的粗粒度任務，但不支持機器翻譯這樣的細粒度任務。然而，最近的研究表明，這些嵌入為無監督機器翻譯形成了重要的構建塊。

另一方面，用於更複雜的高級任務的模型 (如問題回答) 則需要數千個訓練示例來進行學習。將需要實際自然語言理解的任務從高資源語言轉移到低資源語言仍然是非常具有挑戰性的。隨著針對此類任務的跨語言數據集的開發，例如 XNLI，為更多推理任務開發強大的跨語言模型有望變得更容易。

好處和影響

另一個問題是，鑒於資源不足的語言本身只有少量文本可用，NLP 在此類環境中的好處是否也會受到限制？Stephan 強烈反對這點，他提醒說，作為 ML 和 NLP 的從業者，我們通常傾向於以信息理論的方式看待問題，例如最大化數據的可能性或改進基準。退一步說，我們研究 NLP 問題的真正原因是為了構建能夠打破障礙的系統。我們希望構建一個模型，使人們能夠閱讀不是用他們的語言寫的新聞，在他們不能去看醫生的時候詢問他們的健康問題，等等。

考慮到潛在的影響，為低資源語言構建系統實際上是最重要的研究方向之一。雖然一種低資源語言可能沒有很多數據，但是低資源語言的數量很多；事實上，這個星球上的大多數人說的都是某種資源貧乏的語言。因此我們需要找到一種方式讓我們的 ML 系統能夠在這種設置中工作。

激勵和技能

另一位聽眾指出，人們被激勵去從事數據多的基準工作，如英德機器翻譯，但在低資源語言方面缺乏激勵。Stephan 認為激勵以 「未解決的問題」 形式存在。但是，缺乏解決這些問題的技能。我們應該關注的是機器翻譯這類的技能，以幫助人們解決這些問題。不幸的是，學術進步並不一定與資源貧乏的語言有關。但是，如果跨語言基準變得更加普遍，那麼這也會促使在低資源語言方面取得更多進展。

數據可用性

Jade 最後指出，一個大問題是，對於資源較少的語言，例如非洲語言，沒有可用的數據集。如果我們創建數據集並使其易於獲得，這將激勵人們研究並降低進入這個領域的壁壘。使用多種語言提供測試數據通常就足夠了，因為這將允許我們評估跨語言模型並跟蹤進度。

對大型或多個文檔進行推理

有效地表示大規模的上下文。我們目前的模型大多基於遞歸神經網路，不能很好地表示較長的上下文。受圖形啟發的 RNN 的工作具有潛在的前景，儘管目前只有有限的改進，而且還沒有被廣泛採用，因為它們遠不如普通的 RNN 那樣易於訓練。

——Isabelle Augenstein

另一個大的開放問題是關於大型或多個文檔的推理。最近的 NarrativeQA 數據集就是這種設置的基準測試的一個很好的例子。使用大規模上下文進行推理與 NLU 密切相關，需要大幅擴展我們當前的系統，直到它們能夠閱讀整本的書籍和電影腳本。這裡的一個關鍵問題是：我們是需要更好的模型，還是僅僅需要更多的訓練數據？

在 Dota2 遊戲中完勝人類職業玩家的 OpenAI Five 模型表明，如果增大現有模型的大小，讓它們處理更多的數據和更多的計算，那麼它們可以做很多事情。有了足夠的數據量，我們當前的模型在更大型的上下文中也可以做得更好。問題是，擁有大量有標籤的文件數據是稀缺且昂貴的。類似於語言建模，我們可以想像一個文檔級的無監督任務，它需要預測一本書的下一段或下一章，或者決定下一章是哪一章。然而，這個目標很可能過於低效，無法學習有用的表示。

因此，更有用的方向似乎是開發能夠更有效地表示上下文，並能夠在閱讀文檔時更好地跟蹤相關信息的方法。多文檔摘要 (Multi-document summarization) 和多文檔問答 (multi-document question answering) 方面已經有進展。同樣，我們也可以在語言模型的基礎上提高記憶能力和終身學習能力。

數據集、問題和評估

也許最大的問題是正確定義問題本身。通過正確地定義一個問題，我的意思是建立數據集和評估程序，以適當地衡量具體目標的進展。如果我們能把所有事情都簡化成 Kaggle 風格的競賽，事情會變得更容易!

– Mikel Artetxe

囿於時間限制，我們沒有繼續討論當前的基準和評估設置的問題，但以前的調查有許多相關的回答：

https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN0IyM/edit

最後一個問題是，非洲社會應該解決哪些最重要的 NLP 問題。 Jade 認為，最重要的問題是解決資源不足的問題。特別是能夠在教育中使用翻譯，使人們能夠用自己的語言獲得他們想知道的一切，這是非常重要的。

參考鏈接：

[1]Thinking Fast and Slow with Deep Learning and Tree Search, by Thomas Anthony, Zheng Tian & David Barber

https://papers.nips.cc/paper/7120-thinking-fast-and-slow-with-deep-learning-and-tree-search.pdf

原文地址：

http://ruder.io/4-biggest-open-problems-in-nlp/