深度學習發展這麼快,每年都有新技術分支和大量論文發表,以後入門機器視覺或NLP會不會越來越困難?
源代碼和arxiv新工作滿天飛,入門越來越容易。迭代速度越來越快帶來的問題是,前浪如何提升競爭力減緩自己死在沙灘上。。
視覺不懂,NLP似乎是越來越簡單了。
BERT+Fine tune能搞定很多基礎問題(分類、序列標註等),效果好還不需要很多的監督語料。
然後很多新提出的模型,其實就是在反覆的玩各種Attention。機器翻譯這種比較複雜的任務不敢妄言,僅拿最近在看的 Aspect Sentiment Classification 這個小領域的文章來說,創新點真的就是LSTM、Attention、BERT三者的排列組合。
不負責任的說,瞭解下詞向量、LSTM、Transformer、Self-Attention、BERT,近兩年的NLP頂會論文基本能看懂個大概了。比如最近火熱的預訓練模型,各種預訓練模型的本質就是使用Transfrmer的編碼端or解碼端或者使用Transformer的變體再或者改改訓練目標。歸根結底都是個大大的Self-Attention。
現在的 ai 並沒什麼高深的東西,入門很容易,精通需要經驗
發展快,是在暗示入門容易啊
自古曲高和寡,太複雜太晦澀的東西沒幾個人懂,很難發展快的
技術越來越標準化,門檻應該越來越低呀,入門應該是越來越容易
理論上應該是越來越困難,但就NLP而言深度學習領域其實並沒有出現顛覆性的革新,反而BERT讓這個領域也開始進入大力出奇蹟的狀態了。而基礎的NLP統計演算法比如TF-IDF,textrank等等已經足夠成熟了不會再更新了,所以也不會越來越困難。
深度學習發展快,源代碼和arxiv新工作也是鋪天蓋地,是在暗示入門容易,應用也會越來越簡單。tutorial和API helpbook簡單易懂,Tensorflow,Pytorch, AutoML 和 NAS 相關的方便好用的工具,debug用的軟體更是層出不窮,這些對於入門都是非常便利的資源。現在 CVPR, ICML, NIPS 之類的熱門會議年年投稿破新高,現在讀DL/ML博士的申請難度也是連年提升,競爭越來越激烈,而在業界的話,這種情況將會導致機器學習工程師的淘汰更替速度越來越高。入門的標準是可以看懂代碼,復現項目,甚至有所改進,那麼精通就是要做出顛覆性的成果,頂會發文。真正分辨哪些工作有用並且能獨立研究纔是困難的,深入研究或顛覆性創新會困難。自古曲高和寡,太複雜太晦澀的東西沒幾個人懂,很難發展快的.入門很容易,入門是工程師,精通需要經驗,不斷的學習,會變成科學家。迭代速度越來越快帶來的問題是,前浪如何提升競爭力減緩自己死在沙灘上。九層之臺,起於累土。如果想要在這些領域做出成就,就靜下心來,不斷努力,一定可以實現自己的目標的。
附上計算機視覺和自然語言處理入門的一些資料:
計算機視覺和自然語言處理入門的基礎:
編程語言 :C++,Python, 瞭解一些庫:numpy、pandas、matplotlib等。
數學基礎:線性代數, 概率統計,微積分,資訊理論,最優化,隨機過程,矩陣計算,數據分析,
演算法:數據結構,機器學習演算法,深度學習演算法
工具:MATLAB,Tensorflow,PyTorch,Caffe,ffmpeg,Maxnet
計算機視覺的應用:-無人駕駛 - 無人安防 - 人臉識別 - 文字識別 - 車輛車牌識別 - 以圖搜圖 - VR/AR - 3D重構 - 醫學圖像分析 - 無人機
書籍推薦:《Computer Vision : Models,Learning and Inference》,《Learning OpenCV》,《Computer Vision : Algorithms and Applications》,《Deep Learning》,《Computer Vision:Models, Learning and Inference》,《Computer Vision:Algorithms and Applications》, 《OpenCV3編程入門》,李飛飛計算機視覺系列課程,斯坦福公開課:
Stanford CS223B,Stanford CS231N;
網站推薦:Visionbib, vision.stanford
計算視覺的頂會:
ICCV:國際計算機視覺大會
CVPR:國際計算機視覺與模式識別大會
ECCV:歐洲計算機視覺大會
計算機視覺的頂刊:
PAMI:IEEE 模式分析與機器智能雜誌
IJCV:國際計算機視覺雜誌
NLP需要學習的基礎知識:分詞,詞幹、關係、特徵提取,命名實體識別和消歧,詞性標註,句法、語義、篇章、情感分析,詞形還原,停用詞過濾,詞向量化,降維,文本理解
NLP中常用的模型:馬爾可夫模型、隱馬爾可夫模型、層次化隱馬爾可夫模型、馬爾可夫網路,條件隨機場(CRF),貝葉斯網路,
NLP語言模型:
(1)詞的獨熱表示(one-hot representation),(2)Bag of Words, (3)Bi-gram 和 N-gram, (4)詞的分散式表示(distributed representation),(5)共現矩陣(Cocurrence martrix),(6)神經網路語言模型(Neural Networ Language model,NNLM),(7)word2vec
NLP常用工具: Anaconda, Scikit-learn, TensorFlow, Keras, Gensim, NLTK, Jieba, 百度LAC,
NLP書籍推薦:統計自然語言處理(宗成慶第二版)、《自然語言處理綜論》,Python自然語言處理、數學之美(第二版),《自然語言處理的形式模型》,《自然語言處理中的模式識別》,《EM演算法及其擴展》,《自然語言理解》,《Fundamentals of Speech Recognition》,《Learning Python第三版》,
NLP研究內容:機器翻譯、機器寫作、文稿機器校對、文檔分類、文本挖掘、問答系統、信息檢索,信息過濾、信息提取、信息抽取、自動文摘、輿情分析、推薦系統、語音識別
NLP推薦網址:
中國中文信息學會http://www.cipsc.org.cn/
中國計算機學會http://www.ccf.org.cn/
IEEE https://www.ieee.org/
ACL Wiki https://aclweb.org/aclwiki/Main_Page
ACL Anthology https://aclanthology.coli.uni-saarland.de/
List of Issues of Computational Linguistics in the MIT Press Journals
https://www.mitpressjournals.org/loi/coli
Transactions of the Association for Computational Linguistics
https://www.transacl.org/ojs/index.php/tacl
斯坦福大學自然語言處理實驗室整理的NLP資源https://nlp.stanford.edu/links/statnlp.html
Google Research Blog https://research.googleblog.com/
Best Paper Awards in Computer Science http://jeffhuang.com/best_paper_awards.html
我愛自然語言處理http://www.52nlp.cn/
http://www.52nlp.cn/resources
natural language processing blog https://nlpers.blogspot.tw/
火光搖曳http://www.flickering.cn/
自然語言處理(NLP)入門學習資源清單https://cloud.tencent.com/developer/article/1075692
語料庫語言學在線 http://www.corpus4u.org/
Lecture Collection | Natural Language Processing with Deep Learning
https://www.youtube.com/playlist?list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6
video lectures http://videolectures.net/
課程圖譜 http://coursegraph.com/
自然語言處理領域國內外著名會議和期刊:
ACL、EMNLP、NAACL 和 COLING 可以說是 NLP 領域的四大頂會。
SemEval (International Workshop on Semantic Evaluation),
LREC 全(International Conference on Language Resources and Evaluation)
信息檢索和數據挖掘領域的學術會議:SIGIR、CIKM、WWW、WSDM等。
人工智慧領域的兩大國際頂會: AAAI 和 IJCAI。
機器學習領域的學術會議主要包括 ICML、NIPS、UAI、AISTATS等。
相關期刊: AI ( Artificial Intelligence), JAIR ( Journal of AI Research), JMLR ( Journal of Machine Learning Research)。
計算機的知識結構是圖狀的,不是樹狀的。沒有明確的起始節點,你可以任選一個節點按BFS或者DFS慢慢喫掉一個子圖(神仙才能把整張圖喫完)。
容易入門是好事也是壞事,技術迭代太快,對於已經在行業內的人來說太容易溫水煮青蛙了。畢竟雖然沒有哪個節點規定了是起始節點,但每條邊卻清清楚楚的有著權值。
入門不困難,真正分辨哪些工作有用並且能獨立研究纔是困難的
大哥,是不是問反了?現在論文滿天飛,恨不得發文的時候把源代碼給你一併帶上,就這哪來的門檻,現在各種調包俠調參俠,門檻怎麼反而高了?恕我理解不能
其實深度學習和其它學科也沒什麼特別不一樣的地方,都是入門不算難,精通很難,如果說入門的標準是可以看懂代碼,復現項目,甚至有所改進,那麼精通就是要做出顛覆性的成果,頂會發文。如果只是想入門:
1、首先掌握python
2、學會找最新論文,並且會復現代碼。
3、如果是CV領域用GPU復現代碼的技能是一定要有的,如果自己沒有GPU,也可以租用智星雲的GPU,我們現在用的就智星雲的GPU,環境都是配置好的,用起來很方便。價格也合理。