源代碼和arxiv新工作滿天飛,入門越來越容易。迭代速度越來越快帶來的問題是,前浪如何提升競爭力減緩自己死在沙灘上。。


視覺不懂,NLP似乎是越來越簡單了。

BERT+Fine tune能搞定很多基礎問題(分類、序列標註等),效果好還不需要很多的監督語料。

然後很多新提出的模型,其實就是在反覆的玩各種Attention。機器翻譯這種比較複雜的任務不敢妄言,僅拿最近在看的 Aspect Sentiment Classification 這個小領域的文章來說,創新點真的就是LSTM、Attention、BERT三者的排列組合。

不負責任的說,了解下詞向量、LSTM、Transformer、Self-Attention、BERT,近兩年的NLP頂會論文基本能看懂個大概了。比如最近火熱的預訓練模型,各種預訓練模型的本質就是使用Transfrmer的編碼端or解碼端或者使用Transformer的變體再或者改改訓練目標。歸根結底都是個大大的Self-Attention。


現在的 ai 並沒什麼高深的東西,入門很容易,精通需要經驗


發展快,是在暗示入門容易啊

自古曲高和寡,太複雜太晦澀的東西沒幾個人懂,很難發展快的


技術越來越標準化,門檻應該越來越低呀,入門應該是越來越容易


理論上應該是越來越困難,但就NLP而言深度學習領域其實並沒有出現顛覆性的革新,反而BERT讓這個領域也開始進入大力出奇蹟的狀態了。而基礎的NLP統計演算法比如TF-IDF,textrank等等已經足夠成熟了不會再更新了,所以也不會越來越困難。


深度學習發展快,源代碼和arxiv新工作也是鋪天蓋地,是在暗示入門容易,應用也會越來越簡單。tutorial和API helpbook簡單易懂,Tensorflow,Pytorch, AutoML 和 NAS 相關的方便好用的工具,debug用的軟體更是層出不窮,這些對於入門都是非常便利的資源。現在 CVPR, ICML, NIPS 之類的熱門會議年年投稿破新高,現在讀DL/ML博士的申請難度也是連年提升,競爭越來越激烈,而在業界的話,這種情況將會導致機器學習工程師的淘汰更替速度越來越高。入門的標準是可以看懂代碼,復現項目,甚至有所改進,那麼精通就是要做出顛覆性的成果,頂會發文。真正分辨哪些工作有用並且能獨立研究才是困難的,深入研究或顛覆性創新會困難。自古曲高和寡,太複雜太晦澀的東西沒幾個人懂,很難發展快的.入門很容易,入門是工程師,精通需要經驗,不斷的學習,會變成科學家。迭代速度越來越快帶來的問題是,前浪如何提升競爭力減緩自己死在沙灘上。九層之台,起於累土。如果想要在這些領域做出成就,就靜下心來,不斷努力,一定可以實現自己的目標的。

附上計算機視覺和自然語言處理入門的一些資料:

計算機視覺和自然語言處理入門的基礎

編程語言 :C++,Python, 了解一些庫:numpy、pandas、matplotlib等。

數學基礎:線性代數, 概率統計,微積分,資訊理論,最優化,隨機過程,矩陣計算,數據分析,

演算法:數據結構,機器學習演算法,深度學習演算法

工具:MATLAB,Tensorflow,PyTorch,Caffe,ffmpeg,Maxnet

計算機視覺的應用:-無人駕駛 - 無人安防 - 人臉識別 - 文字識別 - 車輛車牌識別 - 以圖搜圖 - VR/AR - 3D重構 - 醫學圖像分析 - 無人機

書籍推薦:《Computer Vision : Models,Learning and Inference》,《Learning OpenCV》,《Computer Vision : Algorithms and Applications》,《Deep Learning》,《Computer Vision:Models, Learning and Inference》,《Computer Vision:Algorithms and Applications》, 《OpenCV3編程入門》,李飛飛計算機視覺系列課程,斯坦福公開課:

Stanford CS223B,Stanford CS231N;

網站推薦:Visionbib, vision.stanford

計算視覺的頂會

ICCV:國際計算機視覺大會

CVPR:國際計算機視覺與模式識別大會

ECCV:歐洲計算機視覺大會

計算機視覺的頂刊

PAMI:IEEE 模式分析與機器智能雜誌

IJCV:國際計算機視覺雜誌

NLP需要學習的基礎知識:分詞,詞幹、關係、特徵提取,命名實體識別和消歧,詞性標註,句法、語義、篇章、情感分析,詞形還原,停用詞過濾,詞向量化,降維,文本理解

NLP中常用的模型:馬爾可夫模型、隱馬爾可夫模型、層次化隱馬爾可夫模型、馬爾可夫網路,條件隨機場(CRF),貝葉斯網路,

NLP語言模型:

(1)詞的獨熱表示(one-hot representation),(2)Bag of Words, (3)Bi-gram 和 N-gram, (4)詞的分散式表示(distributed representation),(5)共現矩陣(Cocurrence martrix),(6)神經網路語言模型(Neural Networ Language model,NNLM),(7)word2vec

NLP常用工具: Anaconda, Scikit-learn, TensorFlow, Keras, Gensim, NLTK, Jieba, 百度LAC,

NLP書籍推薦:統計自然語言處理(宗成慶第二版)、《自然語言處理綜論》,Python自然語言處理、數學之美(第二版),《自然語言處理的形式模型》,《自然語言處理中的模式識別》,《EM演算法及其擴展》,《自然語言理解》,《Fundamentals of Speech Recognition》,《Learning Python第三版》,

NLP研究內容:機器翻譯、機器寫作、文稿機器校對、文檔分類、文本挖掘、問答系統、信息檢索,信息過濾、信息提取、信息抽取、自動文摘、輿情分析、推薦系統、語音識別

NLP推薦網址

中國中文信息學會http://www.cipsc.org.cn/

中國計算機學會http://www.ccf.org.cn/

IEEE https://www.ieee.org/

ACL Wiki https://aclweb.org/aclwiki/Main_Page

ACL Anthology https://aclanthology.coli.uni-saarland.de/

List of Issues of Computational Linguistics in the MIT Press Journals

https://www.mitpressjournals.org/loi/coli

Transactions of the Association for Computational Linguistics

https://www.transacl.org/ojs/index.php/tacl

斯坦福大學自然語言處理實驗室整理的NLP資源https://nlp.stanford.edu/links/statnlp.html

Google Research Blog https://research.googleblog.com/

Best Paper Awards in Computer Science http://jeffhuang.com/best_paper_awards.html

我愛自然語言處理http://www.52nlp.cn/

http://www.52nlp.cn/resources

natural language processing blog https://nlpers.blogspot.tw/

火光搖曳http://www.flickering.cn/

自然語言處理(NLP)入門學習資源清單https://cloud.tencent.com/developer/article/1075692

語料庫語言學在線 http://www.corpus4u.org/

Lecture Collection | Natural Language Processing with Deep Learning

https://www.youtube.com/playlist?list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6

video lectures http://videolectures.net/

課程圖譜 http://coursegraph.com/

自然語言處理領域國內外著名會議和期刊:

ACL、EMNLP、NAACL 和 COLING 可以說是 NLP 領域的四大頂會。

SemEval (International Workshop on Semantic Evaluation),

LREC 全(International Conference on Language Resources and Evaluation)

信息檢索和數據挖掘領域的學術會議:SIGIR、CIKM、WWW、WSDM等。

人工智慧領域的兩大國際頂會: AAAI 和 IJCAI。

機器學習領域的學術會議主要包括 ICML、NIPS、UAI、AISTATS等。

相關期刊: AI ( Artificial Intelligence), JAIR ( Journal of AI Research), JMLR ( Journal of Machine Learning Research)。


計算機的知識結構是圖狀的,不是樹狀的。沒有明確的起始節點,你可以任選一個節點按BFS或者DFS慢慢吃掉一個子圖(神仙才能把整張圖吃完)。

容易入門是好事也是壞事,技術迭代太快,對於已經在行業內的人來說太容易溫水煮青蛙了。畢竟雖然沒有哪個節點規定了是起始節點,但每條邊卻清清楚楚的有著權值。


入門不困難,真正分辨哪些工作有用並且能獨立研究才是困難的


大哥,是不是問反了?現在論文滿天飛,恨不得發文的時候把源代碼給你一併帶上,就這哪來的門檻,現在各種調包俠調參俠,門檻怎麼反而高了?恕我理解不能


其實深度學習和其它學科也沒什麼特別不一樣的地方,都是入門不算難,精通很難,如果說入門的標準是可以看懂代碼,復現項目,甚至有所改進,那麼精通就是要做出顛覆性的成果,頂會發文。如果只是想入門:

1、首先掌握python

2、學會找最新論文,並且會復現代碼。

3、如果是CV領域用GPU復現代碼的技能是一定要有的,如果自己沒有GPU,也可以租用智星雲的GPU,我們現在用的就智星雲的GPU,環境都是配置好的,用起來很方便。價格也合理。

最後,我想說,九層之台,起於累土。

如果想要在這些領域做出成就,就靜下心來,不斷努力,一定可以實現自己的目標的。


反倒覺得入門門檻變低了,隨便做點兒實驗,論文好好寫寫,吹個點子就能中頂會,然而想混出點兒樣子太難了,領域太大,大神太多


入門是越來越容易的。但是「入圈」是越來越難了。

入門容易是因為現在好用的輪子越來越多了,從擼c擼源碼,到後來用python調tensorflow/pytorch,現在連 AutoML 和 NAS 都開始有方便好用的工具了,debug用的軟體更是層出不窮,tutorial和API helpbook 又寫得簡單易懂。老實說,初中畢業的學生現在都能很快上手了。

但是相應地,「入圈」越來越難了,具體有多難,你看看現在 CVPR, ICML, NIPS 之類的熱門會議年年投稿破新高,再看看現在讀DL/ML博士的申請難度也是連年提升就知道了。這裡早已不是流著奶與蜜之地了,競爭之激烈,更新換代速度之快,註定了你在學界圈子裡混出頭的難度相較以前其實更大。

而在業界的話,這種情況將會導致機器學習工程師的汰換速度越來越高,最終演算法的汰換速度比開發快已經基本是未來可預見的情況了,畢竟入門門檻低,大家都是人肉CPU拼體力的,演算法的供應人數又比開發多,需求卻遠比不上開發。


不會的。就我了解雖然現有的文章很多,但是顛覆性的貢獻幾乎很少,總的來說這兩個領域入門容易,做深很難


應該說想做出點東西比以前難多了。入門的話,主要還是一些基礎的理論和實踐。


這個領域,入門是工程師,而不斷的學習,你會變成科學家。


牛頓提出萬有引力公式和微積分這麼久了,你覺得現在學容易還是當年跟他學容易?


有一個方法就是盡量先粗淺的了解一下前沿的趨勢,然後把精力集中的新技術上。這就有後發優勢了。比如說現在可以多研究transformer和注意力機制,而不是lstm


恰恰相反,現在輪子太多導致滑板車都能上200邁了,這誰受的了


技術的更新迭代周期都比較短,入門則是越來越容易。應用也會越來越簡單,研究透就需要花點時間


推薦閱讀:
相关文章