End-to-End Machine Learning Project

Machine Learning là một lĩnh vực của trí tuệ nhân tạo. Mục tiêu của machine learning là hiểu được cấu trúc của dữ liệu và điều chỉnh dữ liệu thành các model mà con người có thể áp dụng vào việc dự đoán, đưa ra quyết định từ những thông tin có sẵn.

Machine learning được ứng dụng trong nhiều lĩnh vực như nhận dạng chữ viết (OCR), đưa ra dự đoán thời tiết, đưa ra để xuất sản phẩn tiêu dùng, công nghệ nhận diện khuôn mặt …

Vì đây là một lĩnh vực không ngừng phát triển, nên bài viết này sẽ giúp người đọc có một cái nhìn tổng quan, hiểu rõ thêm về các bước để tạo lên một chương trình machine learning, và những điều bạn cần lưu ý khi bạn xây dựng một project machine learning.

Bước 1 : Look at the big picture.

Bước 2 : Get the data.

Bước 3 : Discover and visualize the data to gain insights.

Bước 4 : Prepare the data for Machine Learning algorithms.

Bước 5 : Select a model and train it.

Bước 6 : Fine-tune your model.

Bước 7 : Present your solution.

Bước 8 : Launch, monitor, and maintain your system.

Mục đích cuối cùng của chương trình bạn tạo ra là gì ?

Các giải pháp mà bạn hiện có, hay những giải pháp bạn định thực hiện là gì, cách thực hiện của bạn như thế nào ?

Bạn sẽ sử dụng thuật toán nào ?

Hiệu suất mà bạn muốn là bao nhiêu ?

UCI Machine Learning Repository

Kaggle datasets

Amazon’s AWS public datasets

dataportals.org

opendatamonitor.eu

Wikipedia’s list of Machine Learning datasets

Datasets subreddit

Visualizing Geographical Data (trực quan hoá dữ liệu)

Looking for Correlations (tìm kiếm mối tương quan)

Experimenting with Attribute Combinations (thử nghiệm với việc kết hợp các thuộc tính)

Data Cleaning (Làm sạch dữ liệu)

Handling Text and Categorical Attributes (Xử lý các thuộc tính văn bản và phân loại)

Custom Transformers

Feature Scaling

Transformation Pipelines

Training and Evaluating on the Training Set (đào tạo và đánh giá)

Better Evaluation Using Cross-Validation (đánh giá tốt hơn bằng cách sử dụng xác thực chéo)

Grid Search (tìm kiếm theo lưới)

Randomized Search (tìm kiếm ngẫu nhiên)

Ensemble Methods (phương pháp dự đoán nhóm)

Analyze the Best Models and Their Errors (phân tích những model tốt nhất và những lỗi gặp phải)

Evaluate Your System on the Test Set (đánh giá hệ thống trên tập test)

Document what you have done (ghi lại những gì bạn đã làm) .

Create a nice presentation (tạo một bài trình bày đẹp).

Explain why your solution achieves the business objective (giải thích tại sao giải pháp của bạn hiểu quả).

Don’t forget to present interesting points you noticed along the way (ghi lại những điểm thú vị mà bạn nhận thấy khi làm dự án).

Ensure your key findings are communicated through beautiful visualizations or easy-to-remember statements (những kết quả hay những phát hiện của bạn cần được trình bày rõ ràng, dễ hiểu, dễ nhớ).

Write monitoring code: catch system breakage and performance degradation. (Viết mã giám sát giúp bắt lỗi hệ thống và giám sát hiệu xuất của chương trình)

Human evaluation: analyze the system’s output regularly (by experts, workers…) (các kỹ sư, các nhà phát triển cần đánh giá thường xuyên)

Monitor system’s input: poor quality input, e.g., blur images from cameras, noisy signals from sensors, can degrade system performance. (dữ liệu đầu vào của các hệ thống giám sát có thể làm giảm hiệu suất của hệ thống dự đoán)

Retrain the models on a regular basis using fresh data (đào tạo là một model thường xuyên với dữ liệu mới).

Aurelien Geron (2017) Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems