Thứ Sáu, 21 tháng 1, 2022

Các vấn đề trong Neural Network

1. Giới thiệu

Hôm nay mình sẽ giới thiệu đến các bạn về một số vấn đề thường hay gặp trong neural network ảnh hưởng rất nhiều đến kết quả bài toán.

Nhắc lại một chút về công thức gradient descent $$w = w - \eta \frac{\partial L(X, w)}{\partial w}$$

  • Vanishing Gradient
  • Exploding Gradient
  • Giải pháp
  • Các activation thường gặp

2. Exploding Gradient

Đối với backpropagation đó chính là chain rule cụ thể hơn

Hình trên mình lấy từ bài hôm trước nó là tích của các đạo hàm. Khi các đạo hàm này nhỏ hơn 1 thì tích của các số nhỏ hơn 1 sẽ tiến dần về 0. Việc tính gradient tại những layer đầu trong trường hợp neural network có nhiều layer sẽ dẫn đến trường hợp gradient tại những layer này sẽ tiến dần về 0. Quay trở lại với công thức Gradient Descent. Nếu các gradient này tiến về 0. Thì các parameters sẽ không được cập nhật hay thường được gọi là freeze. Hiện tượng này được gọi là Vanishing Gradient

Ở bài trước chúng ta thường hay sử dụng activation function là sigmoid một điều đáng lưu ý là đạo hàm của hàm sigmoid nhỏ hơn 1

3. Exploding Gradient

Ngược lại với Vanishing Gradient là Exploding Gradient nghĩa là khi các tích đạo hàm lớn hơn 1 tích các đạo hàm này có thể tiến đến dương vô cùng. Khi đó công thức Gradient Descent để cập nhật parameters sẽ biến thiên rất lớn mà không hội tụ tại điểm minimum hiện tượng này được gọi là Exploding Gradient

4. Giải pháp

Có một số giải pháp phổ biến để giải quyết các vấn đề này tùy thuộc vào bài toán có thể kể đến: Trong NLP thay vì sử dụng RNN thì người ta sử dụng GRU hoặc LSTM, kĩ thuật Residual Network, sử dụng activation phù hợp...

Các phương pháp trên về mặt kiến thức vượt ra khỏi phạm vi của bài viết này nên mình sẽ giới thiệu sau.

5. Các activation thường gặp

Từ đầu đến giờ mình chỉ sử dụng sigmoid như là một activation. Trong thực tế ngoài sigmoid chúng ta còn một số các activation khác nữa

  • Hình a là sigmoid, mình sẽ không trình bày về activation này nữa
  • Hình b là tanh hàm này có giá trị $[-1, 1]$. Đạo hàm của tanh function cũng nhỏ hơn 1
  • Hình c là relu. Hàm này được sử dụng rất nhiều trong các bài toán về deep learning. Lý do là đơn giản, tính toán nhanh, có đạo hàm tại mọi điểm và giải quyết được phần nào Vanishing gradient. Vì đạo hàm của nó là 1 nếu $z > 0$. Tuy nhiên với các giá trị nhỏ hơn 0 khi đi qua relu thì nó bằng 0 hiện tượng này được gọi là Dying ReLU
  • Hình d là leakly relu được sinh ra giải quyết vấn đề của relu

Trên đây là một số vấn đề trong neural network, nếu các bạn có thắc mắc gì vui lòng để lại comment phía dưới. Xin cảm ơn

Deep Neural Network trong bài toán nhiều lớp

1. Giới thiệu

Ở bài trước mình đã trình bày về Deep Neural Network trong bài toán binary classification. Hôm nay mình sẽ trình bày về Deep Neural Network trong bài toán nhiều lớp.

Trong thực tế chúng ta gặp rất nhiều bài toán liên quan đến phân loại nhiều lớp ví dụ: Cho một bức ảnh phân loại xem bức ảnh đó chứa con chó, mèo hay gà. Hoặc phân loại một câu bình luận sản phẩm của khách hàng là tiêu cực, tích cực hay bình thường.

Trong bài toán binary classification thì output layer chỉ có 1 neural và activation function sẽ là sigmoid. Còn bài toán multiple classification thì số neural ở output layer bằng với số class mà bạn muốn phân loại với activation function là softmax. Softmax là gì mình sẽ giới thiệu trong bài viết này.

Nội dung

  • Deep Neural Network trong bài toán nhiều lớp
  • Biễu diễn dưới dạng toán học
  • Hàm softmax

2. Deep Neural Network trong bài toán nhiều lớp

Giả sử bài toán yêu cầu phân loại bình luận sản phẩm của user gồm 3 trạng thái: Tích cực, tiêu cực và bình thường

Để đơn giản mình sử dụng mạng neural với kiến trúc bao gồm: 1 input layer (2 neural), 2 hidden layer (2 neural, 2 neural), 1 output layer (3 neural tương ứng với 3 lớp).

3. Biểu diễn dưới dạng toán học

Cách biểu diễn toán học cũng như ở bài trước

Gọi $a^{(1)}, a^{(2)}$ chính là vector output của layer đó(hidden layer) với input của nó là output của layer trước. Số mũ trên đầu cũng là thứ tự của layer.

Đặt: $z^{(1)} = W^{(1)}*X$ và $z^{(2)} = W^{(2)}*a^{(1)}$ là vector tích của parameter và output của layer trước

$$z^{(1)} = \begin{bmatrix} z_{1}^{(1)}\\ z_{2}^{(1)}\\ ... ...\\ z_{n_1}^{(1)}\\ \end{bmatrix} = \begin{bmatrix} w_{1}^{(1)}*1 + w_{11}^{(1)}*x_{1} + w_{21}^{(1)}*x_{2} + w_{31}^{(1)}*x_{3} + ... + w_{n_01}^{(1)}*x_{n_0}\\ w_{2}^{(1)}*1 + w_{12}^{(1)}*x_{1} + w_{22}^{(1)}*x_{2} + w_{32}^{(1)}*x_{3} + ... + w_{n_02}^{(1)}*x_{n_0}\\ ... ... ... ... ... ...\\ w_{n_1}^{(1)}*1 + w_{1n_1}^{(1)}*x_{1} + w_{2n_1}^{(1)}*x_{2} + w_{3n_1}^{(1)}*x_{3} + ... + w_{n_0n_1}^{(1)}*x_{n_0}\\ \end{bmatrix}$$

Với $z_{i}^{(l)}$ là vector output neural $k$ của layer thứ $l$. Tương tự đối với $z^{(2)}$

$$z^{(2)} = \begin{bmatrix} z_{1}^{(2)}\\ z_{2}^{(2)}\\ ... ...\\ z_{n_2}^{(2)}\\ \end{bmatrix} = \begin{bmatrix} w_{1}^{(2)}*1 + w_{11}^{(2)}*a_{1}^{(1)} + w_{21}^{(2)}*a_{2}^{(1)} + w_{31}^{(2)}*a_{3}^{(1)} + ... + w_{n_11}^{(2)}*a_{n_1}^{(1)}\\ w_{2}^{(2)}*1 + w_{12}^{(2)}*a_{1}^{(1)} + w_{22}^{(2)}*a_{2}^{(1)} + w_{32}^{(2)}*a_{3}^{(1)} + ... + w_{n_12}^{(2)}*a_{n_1}^{(1)}\\ ... ... ... ... ... ...\\ w_{n_2}^{(2)}*1 + w_{1n_2}^{(2)}*a_{n_1}^{(1)} + w_{2n_2}^{(2)}*a_{n_1}^{(1)} + w_{3n_2}^{(2)}*a_{n_1}^{(1)} + ... + w_{n_1n_2}^{(2)}*a_{n_1}^{(1)}\\ \end{bmatrix}$$

Khi đó: $a^{(1)} = \sigma(z^{(1)})$ và $a^{(2)} = \sigma(z^{(2)})$

Về mặt bản chất nó giống với ký hiệu ở bài trước, tuy nhiên ở bài này mình đặt biến $z$ là biến phụ mà thôi

4. Hàm softmax

Hàm softmax này thường được sử dụng làm activation của output layer. Bây giờ chúng ta cùng áp dụng để tính $y_1, y_2, y_3$ như hình trên.

$$y_1 = \frac{e^{z_{1}^{(2)}}}{e^{z_{1}^{(2)}} + ... + e^{z_{n_2}^{(2)}}} = \frac{e^{z_{1}^{(2)}}}{\sum_{i=1}^{n_2} e^{z_{i}^{(2)}}}$$

Với $n_2$ là số neural tại hidden layer thứ 2

Tương tự với $y_2, y_3$

$$y_2 = \frac{e^{z_{2}^{(2)}}}{e^{z_{1}^{(2)}} + ... + e^{z_{n_2}^{(2)}}} = \frac{e^{z_{2}^{(2)}}}{\sum_{i=1}^{n_2} e^{z_{i}^{(2)}}}$$

$$y_3 = \frac{e^{z_{3}^{(2)}}}{e^{z_{1}^{(2)}} + ... + e^{z_{n_2}^{(2)}}} = \frac{e^{z_{3}^{(2)}}}{\sum_{i=1}^{n_2} e^{z_{i}^{(2)}}}$$

Quan sát thấy $y_1 + y_2 + y_3 = 1$. $y_1, y_2, y_3$ là các giá trị xác suất xảy ra ứng với từng class. Ví dụ bài toán phân loại câu bình luận với 3 trạng thái là tích cực, bình thường, tiêu cực. Sau khi dự đoán ta được: $y_1 = 0.8, y_2=0.1, y_3=0.1$. Lúc này rõ ràng $y_1$ là lớn nhất khi đó ta có thể đưa ra kết luận rằng với câu bình luận input đưa vào thì model sẽ dự đoán là tích cực vì xác suất xảy ra class tích cực là lớn nhất.

Đối với bài toán deep neural network nhiều lớp thì Feed Forward và Backpropagation y chang so với Binary Classification

Mình sẽ dừng bài viết này tại đây, trong quá trình viết công thức có thể sẽ gây nhầm lẫn, nếu có thắc mắc gì vui lòng comment phía dưới. Xin cảm ơn

Thứ Sáu, 7 tháng 1, 2022

Deep Neural Network

1. Giới thiệu

Trong bài viết này mình sẽ giới thiệu cải tiến của Neural Network mà chúng ta đã tìm hiểu ở bài viết trước được gọi là Deep Neural Network.

Nội dung

  • Đặt vấn đề
  • Deep Neural Network
  • Biểu diễn dưới dạng toán học
  • Cách tính output bài toán binary classification

2. Đặt vấn đề

Như các bạn đã biết, Logistic Regression được xem như là một Neural Network đơn giản

Đối với dữ liệu được mô tả như hình trên, đơn giản chỉ cần 1 boundary là có thể phân loại được rồi. Nhưng trong thực tế dữ liệu không hề đơn giản như vậy. Ví dụ như dữ liệu dưới đây:

Các bạn thấy đó đối với dữ liệu như trên thì 1 boundary là không đủ để phân loại dữ liệu. Để giải quyết vấn đề này Deep Neural Network ra đời

3. Deep Neural Network

Quay lại với dữ liệu trên, Deep Neural Network xử lý như sau:

Từ hình trên ta thấy Deep Neural Network sử dụng 2 boundaries thay vì chỉ sử dụng 1. Ban đầu tìm đường $A_1$ (Màu đỏ) để phân tách thành 2 vùng: Vùng chứa điểm số 2 và vùng còn lại chứa 1,3,4. Đường còn lại $A_2$ (Màu vàng) phân tách các điểm dữ liệu thành 2 vùng: Vùng chứa điểm số 3 và vùng còn lại chứa 1, 4

Giả sử có 1 điểm dữ liệu mới chúng ta cần phân loại xem nó thuộc class nào: Sử dụng boundary $A_1$(Màu đỏ) để phân loại. Nếu nó thuộc ở vùng chứa điểm dữ liệu số 2 thì nó thuộc class dấu x màu xanh. Ngược lại nếu đường boundray $A_1$ phân loại điểm đó vào vùng chứa điểm dữ liệu 1,3,4 thì ta sử dụng tiếp đường boundary $A_2$(Màu vàng). Nếu nó thuộc vùng chứa điểm dữ liệu số 3 thì nó thuộc class dấu x màu xanh, ngược lại nếu thuộc vùng chứa điểm 1,4 thì nó thuộc class dấu x màu đỏ

Như vậy boundary $A_1$ phân loại được output sau đó output này được đưa vô làm input của boundary $A_2$. Để được output cuối cùng.

Biễu diễn bài toán dưới dạng Deep Neural Network

Trong thực tế mạng Neural Network chúng ta sử dụng nhiều layers và nhiều neural trong một layer để giải quyết các bài toán phức tạp hơn. Dưới đây là Neural Network tổng quát nhất.

Mỗi layer sẽ có nhiều neural. Các bạn nhớ rằng, nếu có ai hỏi Neural Network trên có bao nhiêu layer thì bạn đừng có tính Input layer vào nhé. Vì người ta chỉ tính hidden layer và output layer thôi. Như hình trên thì chỉ có 4 layers (3 màu xanh da lá cây là hidden layer, 1 màu xanh lam nhạt ở cuối cùng là output layer)

Lưu ý: Đối với bài toán binary classification thì output layer chỉ có một layer. Còn bài toán multiple classification thì số neural tại output layer bằng với số class mình sẽ giới thiệu trong bài sau

4. Biễu diễn dưới dạng toán học

Vì biễu diễn các parameter riêng lẽ, nhìn vào hình sẽ rất rối nên mình sẽ biểu diễn dưới dạng ma trận.

Gọi $W^{(1)}, W^{(2)}, W^{(3)}$ là parameters của hàm giả thuyết(mình cũng quy định luôn là từ nay mình sẽ gọi là Activation Function nhé), các bạn nhớ là trong parameters phải có cả vector bias nữa nhé. Các chỉ số trên đầu chính là thứ tự của layer. Trong trường hợp này là hàm sigmoid.

$$W^{(1)} = \begin{bmatrix} w_{1}^{(1)} & w_{11}^{(1)} & w_{21}^{(1)} & w_{31}^{(1)} & ... & w_{n_{0}1}^{(1)}\\ w_{2}^{(1)} & w_{12}^{(1)} & w_{22}^{(1)} & w_{32}^{(1)} & ... & w_{n_{0}2}^{(1)}\\ ... & ... & ... & ... & ... & ...\\ w_{n_{1}}^{(1)} & w_{1n_{1}}^{(1)} & w_{2n_{1}}^{(1)} & w_{3n_{1}}^{(1)} & ... & w_{n_{0}n_{1}}^{(1)}\\ \end{bmatrix}$$

Với $n_0$, $n_1$ lần lượt là số neural của input layer và hidden layer 1. Trong hình vẽ trên $n_0 = 3, n_1 = 4$

$w_{1}^{(1)}$ là bias của neural 1 tại hidden layer 1, $w_{11}^{(1)}$ là parameter liên kết giữa neural 1 của input layer và neural 1 của hidden layer 1, $w_{1n_1}^{(1)}$ là parameter liên kết giữa neural 1 của input layer và neural $n_1$ của hidden layer 1. Biễu diễn tương tự với các parameter khác

$$W^{(2)} = \begin{bmatrix} w_{1}^{(2)} & w_{11}^{(2)} & w_{21}^{(2)} & w_{31}^{(2)} & ... & w_{n_{1}}^{(2)}\\ w_{2}^{(2)} & w_{12}^{(2)} & w_{22}^{(2)} & w_{32}^{(2)} & ... & w_{n_{1}2^{(2)}}\\ ... & ... & ... & ... & ... & ...\\ w_{n_2}^{(2)} & w_{1n_{2}^{(2)}} & w_{2n_{2}^{(2)}} & w_{3n_{2}^{(2)}} & ... & w_{n_{1}n_{2}}^{(2)}\\ \end{bmatrix}$$

Với $n_1, n_2$ lần lượt là số neural của hidden layer 1 và hidden layer 2. Trong hình vẽ trên $n_1 = 4, n_2 = 4$

Gọi $a^{(1)}, a^{(2)}$ chính là vector output của layer đó(hidden layer) với input của nó là output của layer trước. Số mũ trên đầu cũng là thứ tự của layer.

$a^{(1)} = \sigma(W^{(1)}*X)$

$$a^{(1)} = \begin{bmatrix} a_{1}^{(1)}\\ a_{2}^{(1)}\\ ... ...\\ a_{n_1}^{(1)}\\ \end{bmatrix} = \begin{bmatrix} \sigma(w_{1}^{(1)}*1 + w_{11}^{(1)}*x_{1} + w_{21}^{(1)}*x_{2} + w_{31}^{(1)}*x_{3} + ... + w_{n_01}^{(1)}*x_{n_0})\\ \sigma(w_{2}^{(1)}*1 + w_{12}^{(1)}*x_{1} + w_{22}^{(1)}*x_{2} + w_{32}^{(1)}*x_{3} + ... + w_{n_02}^{(1)}*x_{n_0})\\ ... ... ... ... ... ...\\ \sigma(w_{n_1}^{(1)}*1 + w_{1n_1}^{(1)}*x_{1} + w_{2n_1}^{(1)}*x_{2} + w_{3n_1}^{(1)}*x_{3} + ... + w_{n_0n_1}^{(1)}*x_{n_0})\\ \end{bmatrix}$$

Với $a_{i}^{(l)}$ là vector output neural $k$ của layer thứ $l$. Tương tự đối với $a^{(2)}$

$a^{(2)} = \sigma(W^{(2)}*a^{(1)})$

$$a^{(2)} = \begin{bmatrix} a_{1}^{(2)}\\ a_{2}^{(2)}\\ ... ...\\ a_{n_2}^{(2)}\\ \end{bmatrix} = \begin{bmatrix} \sigma(w_{1}^{(2)}*1 + w_{11}^{(2)}*a_{1}^{(1)} + w_{21}^{(2)}*a_{2}^{(1)} + w_{31}^{(2)}*a_{3}^{(1)} + ... + w_{n_11}^{(2)}*a_{n_1}^{(1)})\\ \sigma(w_{2}^{(2)}*1 + w_{12}^{(2)}*a_{1}^{(1)} + w_{22}^{(2)}*a_{2}^{(1)} + w_{32}^{(2)}*a_{3}^{(1)} + ... + w_{n_12}^{(2)}*a_{n_1}^{(1)})\\ ... ... ... ... ... ...\\ \sigma(w_{n_2}^{(2)}*1 + w_{1n_2}^{(2)}*a_{n_1}^{(1)} + w_{2n_2}^{(2)}*a_{n_1}^{(1)} + w_{3n_2}^{(2)}*a_{n_1}^{(1)} + ... + w_{n_1n_2}^{(2)}*a_{n_1}^{(1)})\\ \end{bmatrix}$$

Gọi $\hat{y}$ là output của Neural Network khi đó: $y = \sigma(W^{(3)}*a^{(2)})$. Có $\hat{y}$ rồi ta dễ dàng tìm được Loss Function L tùy vào bài toán ta sử dụng Loss Function thích hợp

Như vậy quá trình từ $X$ ban đầu đến khi tìm được $\hat{y}$ được gọi là Feed Forward

Bây giờ ta áp dụng Gradient Descent để cập nhật parameters như thế nào?

Để cập nhật $W^{(1)}$ ta áp dụng Gradient Descent như sau:$$W^{(1)} = W^{(1)} - \eta \frac{\partial L}{\partial W^{(1)}}$$

Để tính $\frac{\partial L}{\partial W^{(1)}}$ ta áp dụng chain rule vì bản chất của Neural Network là các hàm toán học lồng nhau. Giống như những gì mình đã viết trong bài chain rule

Sau khi tính được $\frac{\partial L}{\partial W^{(1)}}$ chúng ta áp dụng Gradient Descent để cập nhật $W^{(1)}$

Ở đây mình chỉ trình bày cách Neural Network hoạt động. Chứ không tính đạo hàm chi tiết. Việc tính các đạo hàm này các thư viện nổi tiếng như tensorflow hoặc pytorch người ta đã tính rồi các bạn không phải ngồi tính nữa.

Tương tự đối với $W^{(2)}, W^{(3)}$

Quá trình thực hiện như trên được gọi là Backpropagation

Quá trình Feed Forward và Backpropagation được thực hiện một cách tuần tự. Feed Forward dùng để tìm $\hat{y}$ sau đó tính L. Còn quá trình Backpropagation sẽ tính đạo hàm sau đó sử dụng Gradient Descent để cập nhật parameters. Lặp đi lặp lại quá trình này cho đến khi hội tụ (điều kiện dừng của Gradient descent mình đã trình bày ở đây)

Trong ví dụ trên mình chỉ trình bày một Neural Network đơn giản. Thực tế Neural Network phức tạp hơn nhiều (nhiều neural hơn, nhiều layer hơn). Tuy nhiên cách hoạt động thì không khác nhau.

5. Cách tính output bài toán binary classification

Đối với bài toán binary classification thì cách tính output như Logistic Regression các bạn có thể xem lại tại đây

Trên đây mình đã trình bày về Neural Network, nếu có thắc mắc gì vui lòng để lại comment phía dưới. Xin cảm ơn

Neural Network

1. Giới thiệu

Xin chào các bạn hôm nay mình xin giới thiệu tới các bạn Neural Network là nền tảng của Deep Learning.

Nội dung

  • Logistic là một Neural network cơ bản
  • Feed forward
  • Backpropagation

2. Logistic là một Neural network cơ bản

Các bạn còn nhớ Logistic Regression được sử dụng trong các bài toán Binary Classification, bản chất ở đây là tìm đường boundary để phân tách dữ liêu, các bạn có thể xem lại tại đây

Quan sát hình dưới đây:

Từ hình trên bạn quan sát thấy

  • Chỉ cần 1 boundary để phân chia được dữ liệu một cách rõ ràng.
  • Logistic là một Neural Network cơ bản nhất với một Neural
  • Các bạn để ý cái ký tự ở phía trong neural đó chính là hàm Sigmoid, hàm Sigmoid này thường được gọi là hàm giả thuyết. Nhưng trong Neural network thường được gọi là Activation function. Mình vẽ dưới dạng neural nhìn lạ vậy thôi chứ về cách hoạt động thì nó là Logistic Regression mà.

3. Feed forward

Feed forward đơn giản là tìm $\hat{y}$ ứng với bộ parameters $w$. Các bạn nhớ lại bài Gradient Descent chúng ta tìm $\hat{y}$ tại vị trí $w_t$ sau đó tìm Loss Function đúng không nào. Feed Forward chỉ là một tên gọi thôi

Tóm lại Feed forward là tìm giá trị dự đoán $\hat{y}$ và Loss function $L$

4. Backpropagation

Backpropagation thực ra chỉ là quá trình update parameters $w$ sử dụng Gradient Descent mà thôi. Với Feed forward chúng ta tìm được $\hat{y}$ và $L$. Sau đó chỉ cần áp dụng Gradient Descent với các giá trị này là xong. Quá trình Feed Forward và Backpropagation được thực hiện một cách tuần tự lặp đi lặp lại nhiều lần cho đến khi hội tụ

Sau mỗi epoch thì ta lại được bộ parameters $w$. Rồi lại tiếp tục Feed forward rồi lại Backproparagion

Bài viết này mình chỉ giới thiệu một Neural Network cơ bản thôi. Bản chất nó là Gradient Descent và Logistic Regression mình đã trình bày. Nó khác ở chỗ dùng Neural Network để giải thích. Ở bài viết khác mình sẽ trình bày Deep Neural Network. Có nhiều thứ hay ho hơn để nói. Nếu có thắc mắc gì vui lòng để lại comment. Xin cảm ơn

Chain rule

1. Giới thiệu

Xin chào các bạn hôm nay mình xin giới thiệu cho các bạn một phương pháp tính đạo hàm, đây cũng là xương sống của thuật toán backpropagation trong neural network mà mình sẽ giới thiệu trong các bài sau

Nội dung

  • Phương pháp
  • Ví dụ

2. Phương pháp

Chain rule là một phương pháp tính đạo hàm của hàm hợp theo một biến nào đó dưới dạng công thức như sau: Ví dụ chúng ta có hàm số như sau: $y = f(g(x))$. Trong đó $f, g$ là các hàm số. $x$ là biến

Khi đó: $$\frac{\partial y}{\partial x} = \frac{\partial y}{\partial f} * \frac{\partial f}{\partial g} * \frac{\partial g}{\partial x}$$

Bạn có thể nhìn hình dưới đây để hiểu rõ hơn (Nhìn như một sợi dây xích đúng không nào).

3. Ví dụ

3.1. Tính $\frac{\partial f(x)}{\partial x}$ của hàm số $y = sin^{2}(x)$

Kết quả cuối cùng: $$\frac{\partial f(x)}{\partial x} = 2sin(x)cos(x)$$

3.2. Tính $\frac{\partial f(x)}{\partial x}$ của hàm số $y = \sqrt{x^2 + 3x + 5}$

Kết quả cuối cùng: $$\frac{\partial f(x)}{\partial x} = \frac{2x + 3}{2 \sqrt{x^2 + 2x + 3}}$$

3.3. Tính $\frac{\partial f(x)}{\partial x}$ của hàm số $y = \frac{1}{1 + e^{-x}}$

Các bạn thấy hàm này quen chứ. Đây chính là hàm sigmoid trong thuật toán Logistic Regression

Kết quả cuối cùng: $$\frac{\partial f(x)}{\partial x} = \frac{e^{-x}}{(1 + e^{-x})^2}$$

Trên đây mình đã giới thiệu về phương pháp tính đạo hàm của hàm hợp. Nếu có thắc mắc gì vui lòng để lại comment bên dưới. Xin cảm ơn

Thứ Năm, 30 tháng 12, 2021

Logistic Regression

1. Giới thiệu

Hôm nay chúng ta cùng đi qua một trong những thuật toán phổ biến nhất trong nhóm thuật toán về Supervised Learning, cụ thể hơn là Classification được gọi là Logistic Regression.

Cụ thể hơn nữa Logistic Regression được sử dụng trong các bài toán Binary Classification

Nội dung

  • Hàm giả thuyết
  • Loss Function
  • Gradient Descent
  • Dự đoán kết quả

2. Hàm giả thuyết

Các bạn còn nhớ bài đầu tiên mình có nói để xác định được model chúng ta cần biết: Dạng của model hay còn được gọi là hàm giải thuyết và các parameters $w$ của hàm đó.

Nguồn: https://en.wikipedia.org/wiki/Sigmoid_function

Hàm giả thuyết của Logistic Regression được gọi là sigmoid

$$\sigma(x) = \frac{1}{1 + e^{wx}}$$

Mình muốn nhắc các bạn là $wx$ là nhân giữa 2 vector chứ không phải nhân giữa 2 số nhé. Vì trong Machine Learning mọi thứ nên được biểu vector hóa hoặc biểu diễn dưới dạng ma trân, để tăng tốc độ tính toán.

$x = [x_1, x_2,...,x_n]$, $w = [w_0, w_1, w_2, ...w_n]$ với $n$ là số feature. $w_0$ được gọi là bias.

Đặc điểm của hàm sigmoid là:

  • Giá trị đầu ra nằm trong đoạn $[0, 1]$. Đó là lý do tại sao nó có tên là Regression nhưng lại được sử dụng trong bài toán Classification, vì đầu ra của nó là các giá trị liên tục, trải đều trên tập số thực và nằm trong đoạn giá trị cho phép
  • Liên tục, có đạo hàm tại mọi điểm

3. Loss Function

Các bạn còn nhớ bài trước mình đã giới thiệu một số Loss Function thường gặp không? Trong bài viết đó mình có nhắc đến Cross Entropy. Thuật toán Logistic Regression sử dụng Cross Entropy để làm Loss Function. Còn giải thích tại sao thì trong bài viết đó mình có giải thích rồi nên bài viết này mình không giải thích lại nữa.

$$L = \frac{-\sum_{i=1}^{N}(y_{i}log(\hat{y_i}) + (1 - y_i)log(1 - \hat{y_i})}{N}$$

Với $y_i$ là label của điểm dữ liệu thứ $i$ và $\hat{y_i}$ là giá trị mà model dự đoán của với đầu vào là vector feature $x$ của điểm dữ liệu thứ $i$ (đây chính là output của sigmoid ứng với parameter $w$)

4. Gradient Descent

Có hàm giả thuyết(tức là có dạng của model) bây giờ chúng ta cần tìm parameter $w$ sao cho Loss Function đạt giá trị nhỏ nhất. Lúc này thứ ta nghĩ tơi là sử dụng Gradient Descent, mình đã trình bày ở bài viết trước các bạn có thể xem lại

Kết thúc quá trình cập nhật ta được parameter $w$ tối ưu nhất

5. Dự đoán kết quả

Sau tất cả chúng ta có được model cuối cùng, bây giờ giả sử chúng ta truyền vào hàm sigmoid tức là model một vector $x_{test}$ nào đó. Output của model sẽ là giá trị nằm trong đoạn $[0, 1]$ bây giờ chúng ta cần biết với giá trị này thì nó ứng với class 0 hay 1 vì đây là bài toán Binary Classification mà. Lúc này ta chỉ cần so sánh với một ngưỡng nào đó nếu lớn hơn ngưỡng thì nó thuộc class 1, ngược lại thì thuộc class 0. Tất nhiên là ngưỡng cũng sẽ nằm trong khoảng $[0, 1]$ thường được chọn là $0.5$

Bản chất của Logistic Regression là tìm bounary phân tách dữ liệu

Nguồn: https://miro.medium.com/max/499/1*fQNbPl3NY4antjKJPeuxwA.png

Như vậy trên đây mình đã trình bày cho các bạn về Logistic Regression, đây cũng có thể được xem như một mạng Neural Network sơ khai. Mình xin dừng bài viết tại đây nếu có thắc mắc gì các bạn vui lòng để lại comment phía dưới. Xin cảm ơn

Thứ Tư, 29 tháng 12, 2021

Các Loss Function thường gặp

1. Giới thiệu

Từ các bài học trước các bạn đã biết Loss Function là gì, đây cũng là khái niệm quan trọng bậc nhất trong Machine Learning cụ thể trong chuỗi bài viết này là Học giám sát.

Trong các bài viết trước mình sử dụng Loss Function là hàm Square Error, nhưng trong thực tế không chỉ sử dụng một hàm này, mà còn rất nhiều hàm khác nữa, tùy thuộc vào từng bài toán mà chúng ta sử dụng một Loss Function khác nhau.

Một Loss Function phải có đạo hàm tại mọi điểm

Nội dung

  • Mean Absolute Squared Error
  • Mean Square Error
  • Mean Bias Error
  • Root Mean Squared Error
  • Cross Entropy Loss

2. Mean Absolute Squared Error

$$L = \frac{\sum_{i=1}^{N}|y_i - \hat{y_i}|}{N}$$

3. Mean Square Error

$$L = \frac{\sum_{i=1}^{N}(y_i - \hat{y_i})^2}{N}$$

4. Mean Bias Error

$$L = \frac{\sum_{i=1}^{N}(y_i - \hat{y_i})}{N}$$

5. Root Mean Squared Error

$$L = \sqrt{\frac{\sum_{i=1}^{N}(y_i - \hat{y_i})^2}{N}}$$

Với N là tổng số điểm dữ liệu, $y_i$ là label của điểm dữ liệu thứ $i$, $\hat{y_i}$ là giá trị dự đoán của model với input là vector feature của điểm dữ liệu thứ $i$

Lưu ý: Các Loss Function trên được sử dụng trong các bài toán Regression. Các hàm trên mặc dù đều tính sai lệch giữa giá trị mà model dự đoán với giá trị thực, nhưng chúng đều mà các ý nghĩa thống kê khác nhau (Phần này mình cũng chưa tìm hiểu kĩ).Tuy nhiên khi mình đọc tài liệu thấy người ta nói rằng, khi sai lệch giữa các điểm dữ liệu tương ứng đều nhau và bằng xấp xỉ $\epsilon$ thì nên sử dụng Mean Squared Error, ngược lại, giá trị sai số $\epsilon$ khác biệt lớn thì nên chọn Mean Absolute Squared Error. Còn Root Mean Squared Error về mặc bản chất thì giống Mean Square Error vì nó là căn bậc 2 của Mean Squared Error, chỉ là giá trị của nó nhỏ hơn mà thôi.

6. Cross Entropy Loss

Đây là Loss Function được sử dụng trong các bài toán Classification

$$L = \frac{-\sum_{i=1}^{N}(y_{i}log(\hat{y_i}) + (1 - y_i)log(1 - \hat{y_i})}{N}$$

Đối với Loss này $\hat{y_i}$ sẽ là giá trị nằm trong đoạn $[0, 1]$, còn $y_i$ sẽ mang 1 trong 2 giá trị là 0 hoặc 1

Tại sao hàm này lại được sử dụng

Nguồn: https://themaverickmeerkat.com/2020-11-15-Cross-Entropy/


Nhìn hình trên ta có thể đưa ra nhận xét rằng: khi $y = 1$ (đường màu xanh da trời). Nếu $\hat{y}$ (trục hoành) mà tăng đến 1 (gần $y$) thì lúc này Loss Fuction giảm. Ngược lại, khi $\hat{y}$ tiến gần về 0 (xa $y$) lúc này Loss Function sẽ tăng. Khi $y = 0$ (đường màu xanh lá cây). Nếu $\hat{y}$ tăng đến 1 (xa $y$) lúc này Loss Function sẽ tăng, ngược lại khi $\hat{y}$ tiến về gần 0 (gần $y$) lúc này Loss Function sẽ giảm. Ngoài ra Binary Cross Entropy còn có đạo hàm tại mọi điểm. Nên ta có thể giải thích được câu hỏi tại sao Binary Cross Entropy lại được sử dụng

Trên đây mình chỉ liệt kê một số Loss Function thường gặp, còn nhiều loại Loss Function khác, các bạn có thể nghiên cứu thêm, nếu có thắc mắc gì vui lòng để lại comment, xin cảm ơn

Những vấn đề trong Machine Learning

1. Giới thiệu

Mọi lĩnh vực đều có những vấn đề riêng của nó. Machine Learning cũng vậy, thậm chí vấn đề mà nó đang gặp phải mình sẽ trình bày trong bài viết này còn không có cách giải quyết triệt để mà chỉ có những phương pháp nhằm giảm thiểu mức độ rủi ro mà nó mang lại trong các bài toán Machine Learning mà thôi.

Nội dung bài viết:

  • Underfitting
  • Overfitting
  • Regularization
  • Dropout
  • Early Stopping

2. Underfitting

Underfitting hay còn được gọi high-bias và low-variance là hiện tượng model học không tốt. Trường hợp này mình tạm gọi là model "stupid". Nó dự đoán không tốt trên cả tập dữ liệu train và cả tập dữ liệu test.

Nguyên nhân

  • Model quá đơn giản, không đủ khả năng mô tả được dữ liệu. Như các bạn thấy ở hình đầu tiên, model là 1 đường tuyến tính như vậy là không đủ phức tạp để mô tả dữ liệu.
  • Noise hay outlier thường được gọi là nhiễu. Nhiễu từ dữ liệu, có thể do dụng cụ đo, do nguyên nhân chủ quan từ con người... Gây ra nhiễu.

Giải pháp

  • Tìm một model phù hợp, đủ phức tạp để khái quát được dữ liệu
  • Xử lý nhiễu có thể xóa dữ liệu nó nếu dữ liệu đủ lớn.

Tuy nhiên hậu quả underfitting chúng ta có thể nhận biết được tại thời điểm training ví dụ accuracy thấp chẳng hạn.

3. Overfitting

Overfitting hay còn được gọi là low-bias và high-variance là hiện tượng mà model dự đoán tốt trên tập train nhưng lại cho kết quả thấp trên tập test. Mình tạm gọi model này là "Học vẹt". Overfitting gây ra hậu quả lớn hơn underfitting, vì underfitting chúng ta nhận biết được trong quá trình train, còn overfitting đôi khi phải đưa ra thực tế sử dụng chúng ta mới nhận ra được, khi đưa ra thực tế rõ ràng là tốn kém chi phí, nguồn lực mà chúng ta mới nhận ra thì sẽ rất là tốn kém phải không nào.

Nguyên nhân

  • Model quá phức tạp, các bạn nhìn hình 3 sẽ rõ. Dữ liệu cần một model đơn giản hơn, thể hiện được tính tổng quát của dữ liệu, mà ta lại chọn một model quá phức tạp nên không thể hiện được tính tổng quát của dữ liệu. Mà không tổng quát nên khả năng nó dự đoán trên dữ liệu test là thấp.
  • Ít dữ liệu
  • Nhiễu

Giải pháp

  • Thu thập thêm dữ liệu
  • Khử nhiễu
  • Kĩ thuật Regularization
  • Dropout
  • Early stopping

4. Regularization

Nguyên nhân dẫn đến overfitting là do model quá phức tạp. Kĩ thuật regularization dùng để giảm thiểu độ phức tạp của model. Mà độ phức tạp của model được thể hiện ở số lượng parameters $w$

Mình gọi hàm Loss Function ở các bài trước là $L = L_0$

Kĩ thuật này cộng thêm một đại lượng $R$ vào phía sau $L$ lúc này Loss Function sẽ trở thành: $$L = L_0 + \lambda R$$

Đại lượng $R$ được gọi là Regulazer

$R = ||w||_{2}^{2}$ được gọi là norm 2. Hoặc $R = ||w||_{1}$ được gọi là norm 1

Các bạn có thể tham khảo cách tính norm tại đây

Tại sao lại cộng đại lượng phía sau lại giảm được độ phức tạp của model nhỉ?

Từ $L$ ta chia thành 2 phần $L_0$ và regulazer. Phần thứ nhất là phần mà các bài trước mình đã trình bày. Đại lượng này càng nhỏ thì model càng tốt. Như vậy, phần $L_0$ này thể hiện cho độ chính xác của model. Còn phần thứ 2 là phần đại diện cho độ phức tạp của model. Đại lượng này càng nhỏ model càng đơn giản.

$\lambda$ là đại lượng cân bằng giữa độ chính xác và độ phức tạp. Khi $\lambda$ nhỏ thì model sẽ tập trung cực tiểu vào phần đầu tiên tức là $L_0$ để $L$ đạt giá trị nhỏ lúc này nó sẽ ít tập trung vào phần thứ 2 là phần độ phức tạp của model hơn. Ngược lại, khi $\lambda$ lớn model sẽ tập trung cực tiểu vào phần thứ 2 tức là phần độ phức tạp để $L$ đạt giá trị nhỏ, lúc này model sẽ ít ưu tiên hơn vào phần thứ nhất tức là $L_0$

Có thể đưa ra một kết luận rằng, khi $\lambda$ nhỏ, độ chính xác model tăng nhưng độ phức tạp của model cũng tăng. Ngược lại, khi $\lambda$ lớn, độ chính xác model giảm nhưng độ phức tạp của model cũng giảm theo

Bạn lưu ý một điều rằng khi $\lambda$ quá lớn sẽ dẫn đến model quá đơn giản vì vậy có thể gây ra underfitting nhé, còn khi $\lambda$ quá nhỏ thì model lại quá phức tạp vì vậy có thể gây ra overfitting

$\lambda$ được gọi là 1 hyperparameter

5. Dropout

Đây cũng là một kĩ thuật regularization khác tuy nhiên nó được sử dụng trong Neural Network. Mình sẽ viết phần này khi chúng ta nghiên cứu đến Neural Network

6. Early Stopping

Hiện tại dữ liệu của chúng ta gồm có 2 tập là: train và test. Bây giờ chúng ta chia thêm 1 tập nữa được gọi là validation, với tỉ lệ thường là $train:validation:test = 8:1:1$

Kĩ thuật này được trình bày như sau: Trong quá trình train bạn quan sát Loss Function trên tập train và validation. Nếu tại một epoch nào đó giả sử Loss trên tập train đang giảm và loss trên tập validation có dấu hiệu tăng thì bạn dừng ngay tại thời điểm đó

Nguồn: https://www.researchgate.net/figure/Early-stopping-based-on-cross-validation_fig1_3302948

Trong trường hợp ít dữ liệu, kĩ thuật k-fold validation được áp dụng: Các bạn có thể tham khảo tại đây

OK! Trên đây là một số vấn đề trong Machine Learning cũng như giải pháp của nó, nếu các bạn có thắc mắc gì vui lòng để lại comment phía dưới nhé, Xin cảm ơn

Gradient descent

1. Giới thiệu

Gradient descent là một kĩ thuật tối ưu rất quan trọng trong Machine Learning cũng như Deep Learning mà bạn cần phải biết. Mục đích chính của thuật toán này là tối ưu A để tìm được B. Vậy A và B là gì thì chúng ta sẽ lần lượt tìm hiểu rõ trong bài viết này.

Một lưu ý quan trọng là nội dung của bài viết này chỉ áp dụng cho một loại học máy phổ biến nhất trong thực tế là Supervised Learning, các bạn có thể tham khảo tại đây mình đã giới thiệu Supervised Learning là gì rồi. Nên bài viết này mình không trình bày lại nữa.

Nội dung:
  • Loss Function
  • Gradient Descent
  • Implement Gradient Descent sử dụng python

2. Loss Function

Loss Function được gọi là hàm mất mát chính là độ chênh lệch giữa giá trị thực và giá trị dự đoán của model. Một số tài liệu Loss Function còn được gọi với tên gọi khác là Cost Function., hàm này cũng hay được gọi với cái tên là hàm mục tiêu.

Đây chính là A mà mình đã trình bày ở trên đó các bạn. Các bạn có thể quay lại phần tổng quan Machine Learning mình có trình bày: Để tìm được model chúng ta phải tìm parameters $w$ của model đó và ở bài viết đó mình cũng có trình bày là tìm các parameters thỏa mãn một yêu cầu nào đó. Thì yêu cầu ở đây là tìm parameters sao cho Loss Function đạt giá trị nhỏ nhất có thể. Model ở đây chính là 1 hàm $f$ nào đó thôi. Còn parameters chính là bộ tham số của hàm $f$. Để tìm được hàm $f$ ta chỉ cần tìm được parameters $w$.

Các bạn cần lưu ý ở đây là mỗi feature sẽ có 1 parameter, ở trên vector $w = [w_0, w_1, ..., w_m]$ với $m$ là số feature của dữ liệu, $w_0$ được gọi là bias

Giả sử gọi giá trị $w$ tại thời điểm $t = k$ là $w_k$. Như vậy đầu ra của model ứng với $w = w_k$ là $\hat{y}_{ik} = f_k(x_i)$. Với $x_i$ là của điểm dữ liệu thứ $i$, $x_i$ chính là một vector, với các cột chính là các feature. $\hat{y}_{ik}$ là output của model ứng với điểm dữ liệu thứ $i$ tại thời điểm $t = k$. $f_k$ là $f$ ứng với giá trị $w_k$.

Gọi $y_i$ là label cũng như là giá trị thực ứng với vector feature $x_i$. $l_i$ là độ chênh lệch giữa $y_i$ và $\hat{y}_{i}$ được tính như sau: $$l_i = y_i - \hat{y}_{i}$$ 

 Vì Loss Function không âm nên ta có thể viết lại thành $$l_i = (y_i - \hat{y}_{i})^2$$

$l_i$ được gọi là Square Error. Trong thực tế còn có nhiều hàm mất mát khác có thể kể đến như: Absolute Square Error, Square Error, Cross-Entropy... Tùy vào từng bài toán mà chúng ta sử dụng từng loại hàm mất mát khác nhau. Mình sẽ giới thiệu ở một bài khác.

Lưu ý: $l_i$ chỉ là một điểm dữ liệu thứ $i$. Trên thực tế $l$ được tính trên toàn bộ dữ liệu. Nên ta phải tính tổng các $l_i$ sau đó chia cho tổng số điểm dữ liệu.

Gọi $L$ là hàm mất mát trên toàn bộ dữ liệu, $N$ là số điểm dữ liệu: $$L = \frac{\sum_{i=1}^{N} l_i}{N}$$

3. Gradient Descent

Như ở phần đầu mình đã giới thiệu, mục đích của Gradient Descent là tối ưu A để tìm B. Các bạn đã biết A ở đây là Loss Function $L$. Còn B ở đây sẽ là các parameters $w$.

Như vậy Gradient Descent là kĩ thuật tối ưu để tìm các parameters $w$ sao cho $L$ đạt giá trị nhỏ nhất có thể. Như vậy tại sao chúng ta lại sử dụng Gradient Descent nhỉ? Như kiến thức cấp 3 thì chúng ta chỉ cần đạo hàm $L$ theo parameters $w$ sau đó cho đạo hàm này bằng 0 và giải phương trình này là xong. Tuy nhiên, trong thực tế các phương trình này khá phức tạp nên rất khó để giải, vì vậy, Gradient Descent ra đời để giải quyết vấn đề này.

Để tìm parameters $w$ ta áp dụng Gradient Descent dưới dạng công thức sau: $$w = w - \eta \frac{\partial L(X, w)}{\partial w}$$

$w$ trước và sau dấu bằng mang các giá trị khác nhau nhé. Trước dấu bằng là giá trị $w$ ta cần tính tạm gọi là tại thời điểm $t$. Còn sau dấu bằng là giá trị $w$ tại thời điểm trước đó, mình tạm gọi là tại thời điểm $t - 1$

$\eta$ được gọi là Learning rate hay hệ số học là bước nhảy sau mỗi thời điểm.

$\frac{\partial L(X, w)}{\partial w}$ là đạo hàm của hàm Loss Function theo $w$.$L(X, w)$ là Loss Function với đầu vào là ma trận dữ liệu $X$ (Vì $L$ được tính trên toàn bộ dữ liệu nên mình viết dưới dạng ma trận cho dễ nhìn) với parameters là $w$

Lưu ý: $X$ là ma trận có $n$ hàng là số điểm dữ liệu, $m$ cột là tổng số feature

Để đơn giản bạn có thể tưởng tượng việc thả một quả bóng từ trên đỉnh của một thung lũng để lăn xuống đáy của thung lũng.

Từ hình trên bạn quan sát được rằng:

  • $\eta \frac{\partial L(X, w)}{\partial w}$ chính là bước nhảy sau mỗi thời điểm.
  • Thay đổi $w$ sẽ làm cho $L$ thay đổi, mục đích của model là thay đổi $w$ để $L$ (quả bóng như trong hình) gần điểm global minimum có nhất có thể
  • Bạn có để ý dấu "-" phía trước Learning Rate là gì không? Nhớ lại, hồi cấp 3 bạn học. Đạo hàm tại một điểm sẽ mang giá trị âm nếu điểm đó đứng phía bên trái điểm Minimum, ngược lại, nó sẽ mang giá trị dương nếu nó đứng bên phải điểm Minimum. Như vậy ta đưa đến kết luận rằng. Nếu quả bóng nằm bên trái điểm Minimum lúc này đạo hàm sẽ mang giá trị âm, âm của đạo hàm và dấu "-" phía trước nữa âm của âm sẽ thành dương, lúc này biểu thức Gradient Descent sẽ viết lại thành: $$w = w + \eta \frac{\partial L(X, w)}{\partial w}$$ Lúc này viên bi sẽ lăn từ trái sang phải, ngược lại với trường hợp viên bị nằm bên phải đạo hàm thì nó sẽ như công thức Gradient Descent sẽ thành $$w = w - \eta \frac{\partial L(X, w)}{\partial w}$$ Lúc này viên bi sẽ lăn từ phải sang trái

Các bước thực hiện Gradient Descent

  • Bước 1: Khởi tạo giá trị $w$ ban đầu, vị trí đặt hòn bi thời điểm ban đầu. $w$ thường dc đặt là random tại thời điểm ban đầu
  • Bước 2: Đặt giá trị cho Learning Rate, thường là $1e^{-3}$
  • Bước 3: Định nghĩa dạng model, thường được gọi là hàm giả thuyết
  • Bước 4: Lặp n lần:
    • Tính $\hat{y}$ với parameters w và đầu vào $X$
    • Tính Loss Function
    • Áp dụng công thức Gradient Descent để cập nhật $w$

Một số điều kiện dừng của Gradient Descent

  • Lặp hết số vòng lặp
  • Đạo hàm tại 2 thời điểm liên tiếp nhỏ hơn 1 số $\epsilon$
  • Giá trị $w$ tại 2 thời điểm liên tiếp nhỏ hơn 1 số $\epsilon$

Một số thuật ngữ cần biết:

  • Epochs: Số lần cập nhật $w$, hay các bạn có thể hiểu là số lần công thức Gradient Descent được áp dụng, như trên epochs chính là $n$, lưu ý điều này chỉ đúng khi ta sử dụng toàn bộ dữ liệu cho 1 lần cập nhật. Một định nghĩa chung hơn về 1 epoch là một lần duyệt qua hết các dữ liệu trong tập huấn luyện
  • Batch size: Sử dụng bao nhiêu điểm dữ liệu cho mỗi lần cập nhật $w$, Batch size thường là $2^n$ như: 8, 16, 32, 64...
    • Nếu Batch size bằng số điểm dữ liệu thì Gradient Descent được gọi là Batch Gradient Descent.
    • Nếu Batch size bằng 1 thì Gradient Descent được gọi là Stochastic Gradient Descent
    • Nếu Batch size lớn hơn 1 và nhỏ hơn số điểm dữ liệu thì Gradient Descent được gị là Mini Batch Gradient Descent
  • Step: Số bước cần thực hiện để hoàn thành 1 epoch. Thường được tính bằng tổng số điểm dữ liệu chia cho batch size

3. Implement Gradient Descent sử dụng Python

Các bạn vào click vào đây để xem source code nhé

Mình xin phép dừng bài viết này tại đây, nếu có thắc mắc gì vui lòng để lại comment phía dưới nhé, xin cảm ơn

Thứ Ba, 1 tháng 10, 2019

Phân loại học máy

1. Giới thiệu

Việc xác định bài toán thuộc loại học máy nào là một trong những vấn đề quan trọng và đầu tiên trong việc xử lý một bài toán machine leanring. Lựa chọn thuật toán phù hợp sẽ ảnh hưởng rất nhiều đến kết quả đầu ra của bài toán.

Ta có thể chia học máy thành: Học giám sát (Supervised learning), Học không giám sát (Unsupervised learning), Học bán giám sát (Semi-Supervised) và Học củng cố (Reinforcement learning).

Trong bài viết bài mình sẽ trình bày 2 thuật toán học máy phổ biến nhất hiện nay và cũng là các thuật toán mình gặp nhiều nhất đó là: Học giám sát và học không giám sát, các loại học máy khác các bạn có thể nghiên cứu thêm.
Nguồn: https://www.edureka.co/blog/what-is-machine-learning/

a. Học giám sát (Supervised learning)

Quay lại phần dữ liệu của bài tổng quan về machine learning, trong phần label mình có ghi label này có thể có hoặc không tùy vào từng bài toán. Điều này có thể hiểu đơn giản là dữ liệu đầu vào có cả feature và label thì bài toán này được phân loại vào học giám sát.

Ví dụ: Bạn ôn thi giáo viên cho bạn 10 bài tập. Nếu giáo viên đưa luôn đáp án của những bài đó thì được xem là học có giám sát. Các đáp án này sẽ giám sát và điều chỉnh để quá trình việc ôn thi được hiệu quả hơn.

Học giám sát là nhóm học phổ biến trong các thuật toán machine learning.

Học giám sát được chia thành: Hồi quy (regression), Phân loại (classification).
  • Hồi quy: Khi label là một giá trị số thực. Miền giá trị của nó trải đều trên một trục số thực. Ví dụ bài toán dự đoán nhà. Ngoài ra còn một số ứng dụng khác như: Dự báo dân số trong tương lai,...
  • Phân loại: Khi đầu ra là các biến phân loại. Miền giá trị của nó là rời rạc. Ví dụ bài toán phân loại thư rác, label là có hoặc không (label = (có, không)). Hoặc bài toán trong ảnh có xuất hiện con người hay không (label = (có, không)). Ngoài ra còn một số ứng dụng khác như: Dự đoán 1 người có bị bệnh tiểu đường hay không, phân loại ảnh...
Các thuật toán phổ biến đối với nhóm thuật toán này:
  • Nearest Neighbors
  • Naive Bayes
  • Decision Tree
  • Linear Regression
  • Support Vector Machine (SVM)
  • Neural Network
  • ...
b. Học không giám sát (Unsupervised learning)

Ngược lại với học giám sát là học không giám sát. Học không giám sát là khi tập dữ liệu đầu vào không có label.
Ví dụ: Giả sử dữ liệu của bạn bao gồm: Hình vuông, hình tam giác. Bây giờ bạn muốn chương trình phân cụm xem thử đâu là hình vuông, đâu hình là tam giác. Lúc này bạn không cần chỉ định label. Như vậy, làm sao mà nó có thể tự học được nhỉ. Câu trả lời là chương trình dựa vào bản chất của dữ liệu để học được. Như ví dụ trên chương trình sẽ biết được hình tam giác có 3 cạnh, hình vuông có 4 cạnh cho nên nó có thể tự phân cụm được dựa vào chính những đặc điểm, đặc tính của dữ liệu.

Học không giám sát được phân thành: Phân nhóm (clustering), Kết hợp (association).
  • Phân nhóm: Là thuật toán phân dữ liệu thành các cụm dựa vào sự tương đồng giữa dữ liệu trong mỗi nhóm...
  • Kết hợp: Là bài toán mà ta muốn tìm ra một quy luật dựa vào dữ liệu cho trước. Chẳng hạn như những người mua X cũng có khuynh hướng mua Y
Các thuật toán phổ biến đối với nhóm thuật toán này:
  • K-means Clustering
  • K-medians
  • Association Rule
  • Hierarchical Clustering
  • Principal Component Analysis (PCA)
  • Singular Value Decomposition (SVD)
  • ...

Trên đây là các cách phân loại học máy. Các bạn có thể tìm hiểu thêm tại đây. Nếu có câu hỏi gì vui lòng để lại comment phía dưới. Xin cảm ơn

Tổng quan về machine learning

1. Giới thiệu

Trong những năm gần đây machine learning là một khái niệm được nhắc đi nhắc lại nhiều lần trong thế giới công nghệ, điều này đã cho thấy độ “hot” của lĩnh vực này trên thế giới hiện nay. Trong cuộc sống của chúng ta nếu để ý sẽ bắt gặp rất nhiều những ứng dụng mà có sử dụng machine learning từ y học, chính trị cho đến các nghành giải trí, các hoạt động của con người có thể kể đến như: Hệ thống tự động tag tên của facebook, máy chơi cờ vây AlphaGo, trợ lý ảo Siri, hệ thống gợi ý sản phẩm của Amazon…

Vậy machine learning là gì? machine learning là một subset của Trí tuệ nhân tạo. Trí tuệ nhân tạo hay thường được gọi là AI là một thuật ngữ không còn quá xa lạ với chúng ta nữa. Những bạn hay xem các bộ phim khoa học viễn tưởng chắc hẳn đã thấy hình ảnh những con robot hay những ứng dụng mà chúng có khả năng thông minh như con người. Có thể hiểu đơn giản Trí tuệ nhân tạo là mục tiêu mà con người muốn hướng đến. Thực chất mà nói thì mục tiêu AI vẫn đang còn nằm ngoài tầm với của con người. Còn machine learning đơn giản là phương tiện để con người có thể thực hiện mục tiêu đó.

Theo Wikipedia “machine learning is the subfield of computer science that gives computers the ability to learn without being explicitly programmed”. Hiểu đơn giản thì machine learning là một lĩnh vực con của khoa học máy tính, nó có có khả năng học mà không cần phải lập trình cụ thể.

Với sự phát triển của khoa học công nghệ, khả năng tính toán của máy tính ngày càng được cải thiện, chính vì vậy machine learning đã bước thêm một bước tiến mới là sự ra đời của deep learning. Deep learning lấy cảm hứng từ cấu trúc và hoạt động của não bộ được gọi là mạng thần kinh nhân tạo.
Nguồn: https://www.datasciencecentral.com/profiles/blogs/artificial-intelligence-vs-machine-learning-vs-deep-learning
2. Tổng quan

2.1. Đặt vấn đề`

Bài toán: Ủy ban thành phố X muốn khảo sát tình hình giá nhà của các hộ dân trên địa bàn thành phố dựa vào 2 tiêu chí sau: Số phòng ngủ, diện tích. Dưới đây là một số kết quả sau quá trình khảo sát:

Số phòng ngủ
Diện tích (m2)
Giá bán
3
2000
$250.000
2
800
$300.000
2
850
$150.000
1
550
$78.000
4
2000
$150.000

Đặt vấn đề: Giả sử với một căn nhà mới với số phòng ngủ là 4 với diện tích 1500 $m^2$ và căn nhà này không xuất hiện trong quá trình khảo sát thì giá là bao nhiêu???.

Giải quyết vấn đề: Để giải quyết vấn đề trên. Ủy ban thành phố X sẽ thuê người viết một ứng dụng machine learning. Ứng dụng này sẽ học từ những căn nhà trước đó đã khảo sát. Sau đó nó dự đoán giá của một ngôi nhà mới cái mà chúng chưa nhìn thấy bao giờ.

2.2. Machine learning làm gì?

a. Dữ liệu

Dựa vào hình trên ta có một số khái niệm về dữ liệu như sau:

Observation (quan sát): Mỗi căn nhà được khảo sát để lấy ra các thông tin về số phòng ngủ, diện tích, giá bán thì được xem là một quan sát.

Feature: Các thông tin của ngôi nhà như số phòng ngủ, diện tích được sử dụng để dự đoán giá nhà.

Label: Cái mà một ứng dụng machine learning cần dự đoán. Label này có thể có hoặc không tùy vào từng bài toán. Sẽ được giới thiệu ở những phần sau.

b. Chương trình machine learning làm gì?

Câu hỏi đặt ra ở đây là. Chương trình machine learning cần làm gì để dự đoán giá của một căn nhà mới dựa vào dữ liệu trên

2 quá trình của một chương trình machine learning
  • Trainning: Đây là quá trình mà chương trình machine learning học để tạo ra kiến thức và các kiến thức này thường được gọi là model. 
  •  Test: Đây là quá trình sử dụng model để dự đoán cho dữ liệu mới. Quá trình này sẽ có các thông số đánh giá nhằm kiểm tra chất lượng của model.
Nguồn: https://www.edureka.co/blog/what-is-machine-learning/

c. Bản chất toán học

Observation: Ký hiệu là $x$ là input của bài toán và thường có dạng là một vector $x = (x_1, x_2, x_3, … x_n)$. Mỗi $x_i$ là một feature. Ví dụ số phòng, diện tích là các feature.

Label: Ký hiệu là $y$, output của bài toán. Mỗi observation thể có hoặc không các label tương ứng tùy vào bài toán. Ví dụ giá mỗi ngôi nhà trong bài toán trên chính là 1 label

Model: Bản chất của việc học để tìm ra kiến thức hay model chính là việc tìm ra một hàm số f(x) sao cho nhận vào một observation và trả về một label $y = f(x)$

Một hàm số được xác định khi và chỉ khi ta biết:
  • Dạng của hàm số: Cái này thường được gọi là hàm giả thuyết, hàm này sẽ là khác nhau tương ứng với mỗi thuật toán khác nhau
  • Các tham số của hàm số
Ví dụ: hàm bậc 2: $f(x) = ax^2 + bx + c$. Hàm bậc 2 có dạng parabol. Và bộ ba $(a, b, c)$ chính là tham số của hàm số hay còn được gọi là parameter các parameter này được sinh ra và cập nhật liên tục trong quá trình học.

Ngoài ra, có một parameter đặc biệt nữa gọi là hyperparameter. Hyperarameter là một khái niệm mang tính tương đối và quy ước, thường chỉ các parameter có tính chất hơi mặc định. Đối với hàm đa thức thì bậc của đa thức có thể xem là một hyperparameter. Các hyperparameter được chỉ định trước quá trình học.

Ngoài ra còn có một số hyperparameter nữa sẽ được nhắc đến ở những phần sau.

Để ngắn gọn người ta thường gom tất cả parameters của model thành một vector thường được ký hiệu là $w = (a, b, c)$.

Như vậy nói tóm lại, chúng ta tìm model là tìm hàm số $f$. Để tìm được hàm số $f$ thì phải tìm các parameters của hàm số đó. Việc tìm các parameters này phải thỏa mãn các điều kiện nào đó mà mình sẽ trình bày sau.

Trên đây là tổng quan về machine learning với những khái niệm căn bản mà bạn sẽ gặp nhiều trong quá trình học tập và nghiên cứu. Nếu có câu hỏi gì vui lòng để lại comment phía dưới. Xin cảm ơn