不完全監督學習（一）
背景
監督學習通過學習大量訓練樣本來構建預測模型，但是在現實場景中只有小部分正樣本和大量沒有標記的樣本，直接餵給模型訓練的話，由於類別不平衡，且負樣本里還有沒被發現的正樣本，將使模型的精度變得不準確。除此以外，由於數據標註成本過高，很多任務難以獲取真實標籤。如何使用弱監督甚至無監督的方法進行學習，是學術界也是工業界面臨的新挑戰。
南京大學周志華教授關於弱監督方法的綜述性論文[1]提出，弱監督學習可以分為三類，如下所示。
(1) 不完全監督：只有訓練集的一個子集是有標籤的，其它數據沒有標籤；
(2) 不確切監督：數據只有粗粒度的標籤；
(3) 不準確的監督：標籤不總是真實的，可能會有錯誤。
針對數據只有部分子集有標籤的情況，數據挖掘領域已經有學者做了相關研究，提出了很多半監督方法[2][3][4]。還有學者認為，這是一個典型的Positive and unlabeled Learning，日本理化研究所的杉山將 (Masashi Sugiyama) 對PU learning有較深研究，在ICML、NIPS等頂級會議上發表了很多關於PU learning的論文[5][6][7][8]。除此之外，伊利諾伊大學計算機學院的劉冰 (Bing Liu) 也有很多關於PU learning的研究文章，他的主頁地址是https://www.cs.uic.edu/~liub/NSF/PSC-IIS-0307239.html。
弱監督學習
論文[9]提出了一種方法，只對帶有置信度的正樣本進行訓練 (positive-confidence data)，其效果要好於監督模型。論文認為傳統的半監督方法，像One-class SVM，其泛化能力較弱，因為模型學習到的是現有數據的邊界，並且模型的目標不是將正負樣本分開。而帶有置信度的正向樣本卻攜帶著負樣本的信息，使得模型更好的學習正負樣本的邊界。
假設輸入數據 ，它的類別標籤是
，符合一個未知的分布
。現在要訓練一個分類器模型，要求經驗損失
最小化。
是符合
的期望，
是損失函數，當
很小時，
會變得很大。
當只有正向樣本時，優化的目標還是上面的 ，現在的樣本符合以下分布。
論文經過嚴格證明後，得到以下部分。
其中 可以看成一個常數，可以不考慮，實際優化的是後半部分。如下所示。
代碼里，每個樣本置信度 的計算公式如下所示。
和
分別代表正負樣本的概率分布，
表示正樣本的先驗概率，為正樣本個數與總樣本個數的比值，其中
和
計算公式如下所示。
代表協方差矩陣，
代表樣本的期望，源代碼里默認正負樣本分別符合不同的分布，所以期望是不同的。
參考文獻
[1] Zhou Z H . A brief introduction to weakly supervised learning[J]. National Science Review, 2018, v.5(01):48-57.
[2] O. Chapelle, B. Scholkopf, and A. Zien, editors. ¨ SemiSupervised Learning. MIT Press, Cambridge, MA, 2006.
[3] Z.-H. Zhou and M. Li. Semi-supervised learning by disagreement. Knowledge and Information Systems, 24(3):415–439, 2010.
[4] X. Zhu. Semi-supervised learning literature survey. Technical Report 1530, Department of Computer Sciences, University of Wisconsin at Madison, Madison, WI, 2008.
Kiryo R , Niu G , Plessis M C D , et al. Positive-Unlabeled Learning with Non-Negative Risk Estimator[J]. 2017.[5] Ishida T, Niu G, Sugiyama M. Binary Classification from Positive-Confidence Data[J]. 2018.
[6] Niu G, Niu G, Sugiyama M. Analysis of learning from positive and unlabeled data[C]// International Conference on Neural Information Processing Systems. 2014.
[7] Niu G, Niu G, Sugiyama M. Convex formulation for learning from positive and unlabeled data[C]// International Conference on International Conference on Machine Learning. 2015.
[8] Elkan C , Noto K . [ACM Press the 14th ACM SIGKDD international conference - Las Vegas, Nevada, USA (2008.08.24-2008.08.27)] Proceeding of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining - KDD 08 - Learning classifiers from only positive and unlabeled data[J]. 2008:213.
[9] Ishida T , Niu G , Sugiyama M . Binary Classification from Positive-Confidence Data[J]. 2017.
推薦閱讀：
