吳恩達Coursera機器學習Week3

來自專欄吳恩達機器學習筆記4 人贊了文章

1. Classification and Representation

Classification

當預測的結果只為離散的值時，此時用線性回歸演算法求解不合適，即當需要對預測結果分類的時候，此時應該使用邏輯回歸（logistic regression）演算法進行預測。雖然叫做「回歸」，但是這個演算法是用來解決分類問題的。回歸與分類的區別在於：回歸所預測的目標量的取值是連續的（例如房屋的價格）；而分類所預測的目標變數的取值是離散的（例如判斷郵件是否為垃圾郵件）。

Hypothesis Representation

為了使預測的結果在0和1之間，對假設函數做了以下修改，從而得到了邏輯回歸（logistic regression）演算法。

其中對於假設函數的理解如下所示：

Decision Boundary

通過下圖，sigmoid函數的圖像：

對於離散性的結果，我們可以對假設函數做出以下的判斷：

決策邊界（Decision Boundary）：是用來決定哪些區域能使y為0，哪些區域能使y為1。決策邊界不是訓練集的屬性，而是假設本身及其參數的屬性，只要我們給定了參數向量θ ，決策邊界也就確定了。不是用訓練集來定義決策邊界，而是利用訓練集來擬合參數θ ，一旦擬合好了參數θ ，那麼就確定了決策邊界。

2. Logistic Regression Model

Cost Function

Logistic Regression的代價函數不能使用Linear Regression的代價函數，否則的話會使輸出的預測結果呈現波浪形，即代價函數不是凸函數。因此將代價函數轉換成以下的形式，對於為什麼這樣子寫，請自行百度。

其中需要記住代價函數的圖像，分別如下所示：

Simplified Cost Function and Gradient Descent

對於上一章節提到的代價函數，我們可以合併如下：

而向量的表示形式如下：

其中邏輯回歸的梯度下降演算法的形式和線性回歸的形式相同，如下所示，其中所有參數的更新要同時進行。

而損失函數的推導過程如下圖所示：

向量的表示形式如下：

其中梯度的向量表示方法如下：

Multiclass Classification: One-vs-all

當遇到分類的問題，並且預測的結果y有多個值時，就屬於多類別分類問題，此時需要用一對多的方法（one-vs-all）：假設我們有n種預測結果，我們先選擇一種結果，然後把其他的所有結果作為一類，然後利用邏輯回歸的方法求出預測曲線；然後選擇另一種結果，以同樣的方法求出預測曲線，直到求出n種預測曲線。其中圖像表示如下：