「優化都不懂，你還想做機器學習？」
機器學習的基礎是什麼？是「數學」，而「優化」就是數學中的核心知識之一。
而且在機器學習遇到的複雜優化問題（非凸，不熟悉的），最高效的方法就是利用凸優化的思路去解決。
小七這次把《機器學習中的數學 第二期》，中關於優化的部分PPT送給大家。
其中優化問題簡介、凸集合與凸函數、優化和凸優化是屬於非常基礎的部分，後續兩大板塊有一定難度。
目錄：
一、優化問題簡介
二、凸集合與凸函數 知識點：凸集合與凸函數的關係琴生不等式的幾何解釋 三、優化與凸優化 知識點：凸優化問題對偶問題對偶性KKT條件
拉格朗日乘數法四、支持向量機（SVM）簡介知識點：線性分類器對偶方法推導SVM幾何方法推導SVM五、壓縮感知簡介知識點：信號還原問題壓縮感知
求解壓縮感知的優化方法Lasso方法與優化的穩定性
優化問題簡介
凸集合與凸函數
局部極值與全局極值：
凸函數的重要性質：局部極值一定是全局極值
（下圖左側為凸函數，右側為非凸函數）
凸優化
當原問題只有等式約束而沒有不等式約束時，KKT條件即為拉格朗日乘數法。
階段總結
優化問題在機器學習的模型訓練中有重要應用。
凸函數代數性質與凸集合的幾何性質；琴生不等式的幾何解釋。
凸優化是一類相對簡單的優化問題；凸函數的局部最小值就是全局最小值。對偶方法的主要目的是處理原問題中的複雜邊界條件；對偶問題永遠是凸問題; 弱對偶性永遠成立，可以為原問題提供下界。KKT條件可以用來求解一些優化問題；拉格朗日乘數法是KKT條件的一種特殊形式。
支持向量機簡介
壓縮感知介紹
向量的範數：
對於一個向量：??=??1,?,????，通常定義：
Lasso 方法與優化的穩定性：
左圖：??1+??2的等高線有尖點，此處最優解中??1=0。
右圖：??12+??22的等高線是圓，此處最優解中??1,??2≠0,不具備稀疏性。
當線性條件(圖中紅色直線)由於噪音，產生微小變動時：
左圖：最優解中??1=0，較穩定。
右圖：最優解中??1,??2同時改變，較為不穩定。
機器學習所需的數學基礎，主要就是四大方面：微積分、線性代數、概率論、以及上文分享的優化。
大家如果對其他三方面感興趣，小七專門給大家準備的超高含金量的免費課程。
立刻微信搜索公眾號「七月在線實驗室」
回復「ML數學」開始學習
每天更新乾貨，幫你踏入AI領域成為技術leader。
應屆生學員轉行拿到52萬年薪，大量學員轉行後拿到30-40萬年薪！
講師均由各大公司技術leader和國內外頂級高校博士組成！
馬上開始學習，和「前輩們」一樣進入心儀公司，奪取高薪，成為人生贏家。
也許你面試時的考官就是七月在線的講師/學員！
推薦閱讀：
