變分推斷 貝葉斯神經網路有什麼論文可以推薦閱讀嗎？
我現在處於本科階段，對這方面挺感興趣的，想以後進行相關方面的研究。
希望大家能推薦一下這方面的論文。比如變分推斷的整個發展過程從meanfild 到 vae 再到flow auxiliary 之類的。。如果能加上推薦閱讀順序就更好啦。
貝葉斯神經網路相關方面的也可以
現在比較焦慮。感覺完全沒有方向，並且功利心好像有點嚴重，急切想發論文。不過還是要腳踏實地地一步步來，希望大家能推薦一下相關領域的論文。
謝謝大家
除了樓上答案推薦的David Blei的Variational Inference: A Review for Statisticians 之外，感覺當時課上module 4的reading主要是required一部分很值得一看，只能說Eric Xing是個狠人...（對於我這個數學渣而言_(:з」∠)_...）
10708 Probabilistic Graphical Models?www.cs.cmu.edu搬運如下...
Lecture 12 (Eric) -Slides
- Variational Inference: Loopy Belief Propagation
- Ising models
Required:
- Yedidia et al., Generalized Belief Propagation
- Wainwright and Jordan, Graphical Models, Exponential Families, and Variational Inference, Sec. 4.1
Optional:
- Murphy et al., Loopy Belief Propagation for Approximate Inference: An Empirical Study
Lecture 14 (Eric) -Slides-Video
- Theory of Variational Inference: Inner and Outer Approximation
Required:
- M. Wainwright and M. Jordan, Variational Inference in Graphical Models: The View from the Marginal Polytope
Optional:
- M. Wainwright and M. Jordan, Graphical Models, Exponential Families, and Variational Inference, Sec. 3 and Sec. 4
Lecture 13 (Willie) -Slides-Video
- Variational Inference: Mean Field Approximation
- Topic Models
Required:
- Xing et al., A Generalized Mean Field Algorithm for Variational Inference in Exponential Families
- Wainwright and Jordan, Graphical Models, Exponential Families, and Variational Inference, Ch. 5 (Section 5.1 - 5.3)
Optional:
- Variational inference tutorial (NIPS 2016) （同樣來自David Blei，其實這個tutorial相當不錯）
個人覺得，VI最重要的就是推ELBO，然後Amortized VI加一些trick去SGD。在graphical model里是一種工具性質的存在。
文章實在是很多，但是近幾年的工作基本上就是上面這一個套路。推ELBO你可以去看「Variational Inference A review for statisticians」，不管mean field還是AVI都是一個推法。AVI你隨便找一篇最近的文章看一下就知道了，無非就是reparameterization trick或者score gradient.
另外，你說的這兩個東西我老闆學生時代(20年前)就在做了，純做這個在現在應該不屬於容易發論文的範疇。
一些貝葉斯神經網路的paper
Expectation propagation:
- Probablistic backpropagation
Variational inference：
- Bayes by backprop
- Local reparameterization trick
- Dropout as bayesian approximation
- Concrete dropout
MCMC:
- SGLD
- preconditioned-SGLD
- SGHMC
Particle approximation:
- Stein variational gradient descent
robi56/awesome-bayesian-deep-learning?github.com
我建議先看Bayes-by-backprop和SGLD，以及Dropout as bayesian approximation，因為最簡單。SGLD就是SGD+高斯雜訊，MC-dropout就是test-time繼續dropout……
不過，做BNN的話，感覺mean-field的posterior不太好用，ELBO里的KL-divergence項非常容易over-regularize
讀幾篇Amortized VI；掌握一下score function和reparameterized trick；讀幾篇particle-based VI找找和mcmc的聯繫，這個過程里順便還能看看rkhs等等工具；還有functional prior的bnn和VI也可以關注一下，然後找個老師討論討論有沒有什麼增量工作的想法
要學好概率模型還應該從基礎開始。個人推薦從mixture of gaussian開始，從建模方法到推理技術都要好好學習。
基本的有向圖/無向圖模型表達到概率意義表達。基本的變分優化數學原理到採樣推理方法。
然後再開始學習和深層網路結合緊密的VAE/GAN/DBM/DBN這些東西。
有關書籍可以參照：
基礎概率模型：
Pattern Recognition and Machine Learning
Machine Learning: A Probabilistic Perspective
Probabilistic Graphical Models: Principles and Techniques
Graphical Models, Exponential Families, and Variational Inference
概率模型和深層網路結合：
Deep Learning. Part III by Ian Goodfellow and Yoshua Bengio and Aaron Courville.
Geoffrey Hinton, Ruslan Salakhutdinov. deep Boltzmann machines, deep belief network.
Max Willing. VAE/Auto-Encoding Variational Bayes
Goodfellow, Yoshua Bengio. Generative Adversarial Network
理解為還沒還沒入門。講一些我剛開始打基礎的經歷(非科班入門)
我是最開始從因子分析(FA)，到PPCA，然後理解PCA到PPCA到FA之間的關聯，了解基於有參數估計的生成模型的基礎。
之後我再去看變分推斷，到BPCA(貝葉斯PCA)和VPCA(變分PCA)，了解變分推理的機理。
之後再看VAE(其實VAE只是用到變分估計的理念，不完全看懂變分估計也能理解)。然後再到各種深度貝葉斯網路。
最開始的一部分FA,PPCA,變分推理推薦看PRML這本書，說的很透徹。
VPCA,BPCA可以看PRML這本書作者的兩篇論文，名字就叫這個。
VAE的的論文google一下就能搜到，推薦 paperweekly專欄，蘇劍林大佬的解析。基礎打好了其他文章也比較好解析。
不要急。著急才不容易出成果
百度一下你就知道的。
英文好可以看英文博客。
差一點就看中文博客解析。
先學原理，然後實現網路，再應用到具體任務中，最後再做思考延伸。。
題主可以去關注下悉尼科技大學的徐亦達老師，他在優酷上有個變分推斷的課程視頻。
https://github.com/roboticcam/machine-learning-notes/blob/master/README.md?github.com這個是他的github 課程notes.
csdn，搜一下，基本的解釋都有。論文直接看beal那篇，他網站上有代碼。
推薦閱讀：
