Chúng ta sẽ cùng thực hành triển khai huấn luyện (training) một Logistic Regression model cho một bài toán dự đoán thu nhập của người trưởng thành nhé !

* Các bài thực hành đều sử dụng Python 3.

Import tập dữ liệu

Trong bài thực hành này chúng ta sẽ sử dụng lại dữ diệu đã được tiền xử lý (pre-process) ở bài thực hành số 4 nhé !

Ở tập dữ liệu (dataset) này chúng ta sẽ phải dự đoán nhóm thu nhập trong một năm của người trưởng thành ở nhiều nước là >=50K hay <50K. Các biến không phụ thuộc (independent variable) trong tập dữ liệu này gồm có tuổi tác, loại hình công việc (nhà nước, tư nhân,…), trọng số người có cùng thuộc tính, mức độ giáo dục,…

Chi tiết về từng biến không phụ thuộc (independent variable) có thể đọc thêm ở đây:

Thông tin về tập dữ liệu

1
import pandas as pd

1
2
3
df = pd.read_csv('/content/new_adult_data.csv')

df

Phân chia tập dữ liệu

Tách biến không phụ thuộc (independent variable) và biến phụ thuộc (dependent variable) từ tập dữ liệu (dataset)

1
2
3
x = df.iloc[:,0:104]

y = df.iloc[:,104]

Tiếp theo chúng ta sẽ phân chia tập dữ liệu thành hai tập nhỏ hơn: tập dữ liệu huấn luyện (training set) và tập dữ liệu xác nhận (validation set) với tỷ lệ 80% và 20%.

* random_state nhằm đảm bảo việc phân chia dữ liệu là như nhau trong mọi lần chạy.

1
from sklearn.model_selection import train_test_split

1
X_train, X_valid, Y_train, Y_valid = train_test_split(x, y, test_size = 0.2, random_state = 101)

Huấn luyện Logistic Regression model

1
from sklearn.linear_model import LogisticRegression

Khởi tạo Logistic Regression model, do số lượng biến không phụ thuộc (independent variable) khá lớn nên model cần số vòng lặp (interation) lớn hơn bình thường để có thể tìm được điểm hội tụ (converge), điểm mà model đạt trạng thái tối ưu nhất.

1
classifier = LogisticRegression(max_iter=500)

Fit dữ liệu của tập huấn luyện (training set) vào Logistic Regression model.

1
classifier.fit(X_train, Y_train)

1
2
3
4
5
LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
                   intercept_scaling=1, l1_ratio=None, max_iter=500,
                   multi_class='auto', n_jobs=None, penalty='l2',
                   random_state=None, solver='lbfgs', tol=0.0001, verbose=0,
                   warm_start=False)

Kiểm tra độ chính xác (accuracy) trên tập huấn luyên (training set) sau khi huấn luyện.

1
classifier.score(X_train, Y_train)

1
0.8588809799702036

Kiểm tra độ chính xác (accuracy) trên tập xác nhận (validation set) sau khi huấn luyện.

1
classifier.score(X_valid, Y_valid)

1
0.8589715294636946

Như vậy sau quá trình huấn luyện (training), Logistic Regression model thể hiện rất tốt, độ chính xác (accuracy) trên tập xác nhận (validation set) tương đồng như trên tập dữ liệu huấn luyện (training set). Điều này cho thấy model không bị quá vừa vặn (overfit) với tập huấn luyện (training set).

Kiểm tra Logistic Regression đã huấn luyện

Chúng ta sẽ kiểm tra kỹ hơn hiệu năng (performance) của model trên tập dữ liệu kiểm thử (testing set). Tập dữ liệu này cũng đã được tiền xử lý ở bài thực hành trước.

1
2
3
4
5
# Import dữ liệu từ tập kiểm thử (test dataset)

df_test = pd.read_csv('/content/new_adult_test.csv')

df_test

1
2
3
4
5
6
7
# Tách biến không phụ thuộc (indepedent variable)

x_test = df_test.iloc[:, 0:104]

# Tách biến phụ thuộc (depedent variable)

y_test = df_test.iloc[:,104]

Cho Logistic Regression model vừa được huấn luyện dự đoán (predict) dựa trên các biến không phụ thuộc (independent variable)

1
y_pred = classifier.predict(x_test)

Đầu tiên là độ chính xác của model trên tập huấn luyện (training set)

1
from sklearn.metrics import confusion_matrix, accuracy_score, classification_report

1
accuracy_score(y_test, y_pred)

1
0.800996015936255

Độ chính xác là 80%, một con số không hề tệ. Tuy nhiên như đã đề cập, chúng ta cần xem xét ma trận nhầm lẫn (confusion matrix) cũng như các thông số độ bao phủ (recall), độ chuẩn xác (precision), f1-score để có cái nhìn tổng quát hơn.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import seaborn as sns

import matplotlib.pyplot as plt



def draw_cf_matrix(label, pred):

  cf_matrix = confusion_matrix(label, pred)

  ax = plt.subplot()

  sns.heatmap(cf_matrix, annot=True, ax = ax, fmt='g', cmap='Greens')

  ax.set_xlabel('Predicted labels')

  ax.set_ylabel('True labels')

  ax.set_title('Confusion Matrix')

  ax.xaxis.set_ticklabels([0, 1])

  ax.yaxis.set_ticklabels([0, 1])

  cf_matrix

1
draw_cf_matrix(y_test, y_pred)

1
print(classification_report(y_test, y_pred))

1
2
3
4
5
6
7
8
              precision    recall  f1-score   support

         0.0       0.91      0.81      0.86     11360
         1.0       0.57      0.76      0.65      3700

    accuracy                           0.80     15060
   macro avg       0.74      0.79      0.76     15060
weighted avg       0.83      0.80      0.81     15060

Qua ma trận nhầm lẫn (confusion matrix) chúng ta có thể thấy model dự đoán sai khá nhiều nhóm (class) 1 - nhóm (class) có thu nhập lớn hơn 50K. Độ chuẩn xác (precision) chỉ đạt 0.57 tức là chỉ có 57% cá thể (instance) được dự đoán thuộc nhóm (class) 1 là chính xác. Điều này có thể lý giải nguyên nhân là do chúng ta không có nhiều dữ liệu về nhóm (class) 1 trong tập dữ liệu huấn luyện (training set), phần lớn đều được tạo từ SMOTE, do đó mức độ tổng quát (generalize) của model chưa được cao. Nhìn về khía cạnh khác, độ bao phủ (recall) của nhóm (class) 1 lại khá tốt, 76% cá thể (instance) có nhãn (label) là nhóm (class) 1 được dự đoán đúng chỉ có 922 cá thể (instance) có nhãn (label) là nhóm (class) 1 nhưng bị phân loại sai thành nhóm (class) 0.

Lưu Logistic Regression đã huấn luyện

Sau khi huấn luyện (training) và kiểm tra model, chúng ta có thể lưu model đã huấn luyện lại sử dụng thư viện pickle.

1
import pickle

1
2
3
4
5
file_name = '/content/logistic_model.pkl'

with open(file_name, 'wb') as file:

    pickle.dump(classifier, file)

Sau đó chúng ta có thể mở lại model và tiến hành dự đoán !

1
logistic_model = pickle.load(open('/content/logistic_model.pkl', 'rb'))

1
logistic_model.score(x_test, y_test)

1
0.800996015936255

• Previous
  [Lý Thuyết] Bài 7 Hồi quy Logistic - Logistic Regression
• Next
  [Lý Thuyết] Bài 9 Phân loại Naïve Bayes - Naïve Bayes classifier