کتاب یادگیری ماشین از صفر نسخه PDF انگلیسی

معرفی کتاب Machine Learning Algorithms From Scratch with Python

Machine Learning Algorithms From Scratch with Python اثر Jason Brownlee یک منبع کاربردی برای کسانی است که می‌خواهند الگوریتم‌های اصلی یادگیری ماشین را بدون تکیه کامل بر کتابخانه‌های سطح بالا بفهمند و با Python از پایه پیاده‌سازی کنند. نام فایل محصول نیز دقیقاً با همین عنوان هماهنگ است. رویکرد کتاب نتیجه‌محور است: ابتدا مسئله و الگوریتم را می‌شناسید، سپس اجزای آن را با کد ساده می‌سازید و در نهایت رفتار مدل را روی داده واقعی ارزیابی می‌کنید.

مزیت اصلی این رویکرد آن است که مفاهیمی مانند فاصله، وزن، خطا، تقسیم داده، انتخاب ویژگی و به‌روزرسانی پارامترها از حالت جعبه سیاه خارج می‌شوند. وقتی الگوریتم را خودتان پیاده‌سازی می‌کنید، بهتر می‌فهمید کتابخانه‌هایی مانند scikit-learn در پشت یک API ساده چه مراحلی را انجام می‌دهند.

چرا پیاده‌سازی از صفر مهم است؟

در پروژه واقعی معمولاً استفاده از Library استاندارد انتخاب منطقی‌تری است، اما برای یادگیری عمیق، ساخت نسخه ساده الگوریتم از ابتدا بسیار ارزشمند است. این کار رابطه میان Formula و Code را روشن می‌کند و Debugging را نیز ساده‌تر می‌سازد.

هدف از From Scratch بازنویسی یک Framework کامل نیست؛ هدف ساخت نسخه آموزشی، خوانا و قابل آزمایش از Algorithm است.

آماده‌سازی داده

قبل از Model، داده باید خوانده، پاک‌سازی و به Structure مناسب تبدیل شود. Missing Value، Type ناسازگار و Label اشتباه می‌توانند نتیجه را خراب کنند.

کتاب بر Datasetهای کوچک و قابل فهم تمرکز دارد تا مراحل Algorithm قابل مشاهده باشند.

Train و Test

اگر همان داده‌ای که Model روی آن آموزش دیده برای سنجش نهایی استفاده شود، نتیجه خوش‌بینانه خواهد بود. تقسیم Training و Test برای اندازه‌گیری Generalization ضروری است.

در مسائل Classification بهتر است نسبت Classها در Split نیز بررسی شود.

Cross Validation

Cross-validation چند Split مختلف می‌سازد و Performance را در چند Fold اندازه می‌گیرد. این روش نسبت به یک تقسیم تصادفی، تصویر پایدارتر و قابل اعتماد‌تری از Model ارائه می‌دهد.

Evaluation Metrics

برای Classification، Accuracy همیشه کافی نیست؛ در Dataset نامتوازن ممکن است Model با حدس Class غالب Accuracy بالایی بگیرد. Precision، Recall و Confusion Matrix اطلاعات بیشتری ارائه می‌کنند.

برای Regression نیز معیارهایی مانند Mean Absolute Error و Root Mean Squared Error می‌توانند استفاده شوند.

Linear Regression

Linear Regression رابطه Target عددی با Featureها را به صورت ترکیب خطی مدل می‌کند. نسخه ساده آن کمک می‌کند مفهوم Weight، Bias، Prediction و Error به شکل ملموس دیده شود.

در پیاده‌سازی دستی می‌توان نحوه محاسبه Coefficientها یا به‌روزرسانی آن‌ها را دقیق بررسی کرد.

Logistic Regression

Logistic Regression برای Classification دودویی کاربرد دارد. خروجی Linear به کمک Logistic Function به محدوده احتمال نگاشت می‌شود و سپس Threshold برای Class نهایی استفاده می‌شود.

این الگوریتم یکی از بهترین مثال‌ها برای فهم ارتباط Regression، Probability و Decision Boundary است.

Gradient Descent

Gradient Descent روشی برای کاهش تدریجی Error است. Parameterها در جهت مخالف Gradient به‌روزرسانی می‌شوند.

Learning Rate اگر خیلی بزرگ باشد ممکن است Training ناپایدار شود و اگر بسیار کوچک باشد Convergence کند خواهد بود.

Perceptron

Perceptron یک Classifier خطی ساده است که Weightها را بر اساس Prediction اشتباه تغییر می‌دهد. مطالعه آن پایه خوبی برای فهم Neural Networkهای پیچیده‌تر است.

k-Nearest Neighbors

KNN بر اساس Similarity نمونه جدید با نمونه‌های Training تصمیم می‌گیرد. Distance Metric و مقدار k دو عامل اصلی رفتار آن هستند.

این Algorithm Training پیچیده‌ای ندارد، اما Prediction روی Dataset بزرگ می‌تواند هزینه‌بر باشد.

Distance Measures

Euclidean Distance یکی از معیارهای رایج است، اما Scale Featureها روی آن اثر مستقیم دارد. اگر یک Feature دامنه بسیار بزرگ‌تری داشته باشد، Distance را Dominant می‌کند.

به همین دلیل Normalization یا Standardization پیش از بعضی الگوریتم‌ها ضروری است.

Naive Bayes

Naive Bayes از Bayes Rule و فرض Independence شرطی Featureها استفاده می‌کند. این فرض در بسیاری از Datasetها دقیق نیست، اما الگوریتم در عمل می‌تواند بسیار مؤثر باشد.

پیاده‌سازی از صفر کمک می‌کند Prior، Likelihood و Posterior به‌صورت عملی درک شوند.

Decision Trees

Decision Tree داده را با Ruleهای متوالی تقسیم می‌کند. هر Node یک سؤال درباره Feature می‌پرسد و Branchها مسیر تصمیم را مشخص می‌کنند.

Tree بیش از حد عمیق می‌تواند Training Data را حفظ کند و Overfit شود.

Splitting Data در Tree

برای ساخت Tree باید Splitی انتخاب شود که Classها را بهتر جدا کند. معیارهایی مانند Gini Index یا Information Gain برای این کار استفاده می‌شوند.

CART

Classification and Regression Trees یک چارچوب شناخته‌شده برای Treeهای دودویی است. پیاده‌سازی ساده CART نشان می‌دهد جست‌وجوی Split و Recursive Partitioning چگونه انجام می‌شود.

Bagging

Bagging چند Model را روی نمونه‌های متفاوت داده Training می‌سازد و Predictionها را ترکیب می‌کند. هدف اصلی کاهش Variance است.

Random Forest

Random Forest ایده Bagging را با Random Feature Selection ترکیب می‌کند تا Treeها کمتر شبیه یکدیگر باشند. همین Diversity معمولاً Generalization را بهتر می‌کند.

Ensemble Learning

Ensemble یعنی ترکیب چند Model برای رسیدن به Prediction پایدارتر. کیفیت Ensemble فقط به تعداد Modelها وابسته نیست؛ Diversity میان آن‌ها نیز مهم است.

Bootstrapping

Bootstrap Sampling با انتخاب نمونه همراه با جایگذاری Datasetهای متفاوتی از Training Data تولید می‌کند. این ایده در Bagging نقش اساسی دارد.

Learning Vector Quantization

LVQ از Prototypeهایی برای نمایش Classها استفاده می‌کند. Prototypeها بر اساس فاصله و Label نمونه‌های Training جابه‌جا می‌شوند.

این روش مثال خوبی برای فهم Representation فشرده از Classهاست.

Data Scaling

Scaling در Algorithmهایی که به Distance یا Gradient وابسته‌اند اهمیت زیادی دارد. Min-Max Scaling و Standardization دو روش رایج هستند.

پارامترهای Scaling باید فقط از Training Data محاسبه شوند تا Leakage رخ ندهد.

Data Leakage

Leakage زمانی رخ می‌دهد که اطلاعاتی از Test پیش از Evaluation وارد Training Pipeline شود. حتی محاسبه Mean کل Dataset برای Standardization می‌تواند Leakage باشد.

Missing Values

داده ناقص باید بر اساس Domain و حجم Missingness مدیریت شود. حذف کورکورانه Rowها ممکن است Bias ایجاد کند یا Data ارزشمند را از بین ببرد.

Feature Selection

Featureهای غیرمرتبط می‌توانند Noise و Complexity را افزایش دهند. Selection باید فقط روی Training انجام شود و اثر آن با Validation سنجیده شود.

Overfitting

Overfitting یکی از موضوعات محوری Machine Learning است. Model روی Training بسیار خوب عمل می‌کند اما Patternهای عمومی را یاد نگرفته است.

Cross-validation، ساده‌تر کردن Model، Regularization و داده بیشتر از راه‌های رایج مقابله با آن هستند.

Underfitting

اگر Model بیش از حد ساده باشد، حتی Training Data را هم خوب توضیح نمی‌دهد. در این حالت Feature بهتر یا Model انعطاف‌پذیرتر ممکن است لازم باشد.

Baseline

قبل از Algorithm پیچیده باید یک Baseline ساده ساخته شود. Baseline نشان می‌دهد آیا Model واقعاً چیزی یاد گرفته یا فقط از Distribution Classها استفاده کرده است.

Reproducibility

Random Seed، Dataset Split و Hyperparameterها باید ثبت شوند. بدون این اطلاعات مقایسه Experimentها دشوار می‌شود.

کدنویسی ساده و خوانا

در نسخه آموزشی From Scratch بهتر است Code واضح‌تر از Code فوق‌بهینه باشد. Functionهای کوچک و Naming مناسب به فهم الگوریتم کمک می‌کنند.

تفاوت کد آموزشی و Production

کد آموزشی برای فهم Mechanism نوشته می‌شود؛ Production به Performance، Security، Validation، Logging و Edge Caseهای بیشتری نیاز دارد. بنابراین Example ساده کتاب نباید بدون بررسی مستقیماً در سیستم حساس استفاده شود.

NumPy یا Python خالص؟

پیاده‌سازی ساده با Python خالص منطق Algorithm را شفاف می‌کند. در پروژه واقعی NumPy و Libraryهای بهینه عملکرد بسیار بهتری ارائه می‌دهند.

مقایسه با scikit-learn

بعد از ساخت Algorithm دستی، مقایسه Result با Implementation استاندارد تمرین بسیار خوبی است. تفاوت Performance می‌تواند ناشی از Preprocessing، Initialization، Numerical Stability یا جزئیات Algorithm باشد.

Hyperparameters

Hyperparameterها پیش از Training تعیین می‌شوند؛ مانند k در KNN یا Depth در Tree. انتخاب آن‌ها باید با Validation انجام شود، نه Test Set.

Classification Threshold

در Model احتمالاتی، Threshold پیش‌فرض 0.5 همیشه بهترین انتخاب نیست. هزینه False Positive و False Negative باید در Domain واقعی لحاظ شود.

Imbalanced Data

در داده نامتوازن Accuracy ممکن است گمراه‌کننده باشد. Sampling، Weighting و Metric مناسب باید با توجه به مسئله انتخاب شوند.

Numerical Stability

فرمول mathematically صحیح ممکن است در Floating-point ناپایدار باشد. کتابخانه‌های استاندارد معمولاً جزئیات Numerical بیشتری از Implementation آموزشی دارند.

روش مطالعه پیشنهادی

هر Algorithm را در سه مرحله بخوانید: ابتدا Concept، سپس Pseudocode و در نهایت Python Implementation. بعد با Dataset کوچک اجرای Step-by-step انجام دهید.

بهتر است نتیجه هر مرحله با Test ساده بررسی شود تا Bug در Functionهای پایه به بخش‌های بعد منتقل نشود.

پروژه تمرینی

یک Dataset Classification انتخاب کنید و KNN، Logistic Regression و Decision Tree ساده را از صفر پیاده‌سازی کنید. سپس همان Dataset را با scikit-learn اجرا و Accuracy، Runtime و Behavior را مقایسه کنید.

پیش‌نیازها

آشنایی مقدماتی با Python، Function، List و Loop لازم است. Algebra پایه و Probability نیز برای درک بهتر بعضی Algorithmها مفید است.

این کتاب برای چه کسانی مناسب است؟

• برنامه‌نویسان Python که وارد Machine Learning می‌شوند.
• دانشجویانی که می‌خواهند الگوریتم‌ها را فراتر از API یاد بگیرند.
• افرادی که با scikit-learn کار می‌کنند اما Mechanism مدل‌ها را نمی‌شناسند.
• دانشجویان Data Science و AI.
• کسانی که با ساخت پروژه کوچک بهتر از مطالعه صرفاً نظری یاد می‌گیرند.

جمع‌بندی

Machine Learning Algorithms From Scratch with Python اثر Jason Brownlee برای فهم عملی الگوریتم‌های کلاسیک یادگیری ماشین طراحی شده است. Logistic Regression، KNN، Naive Bayes، Decision Tree، Bagging و روش‌های دیگر با تمرکز بر پیاده‌سازی ساده و قابل فهم بررسی می‌شوند.

ارزش اصلی کتاب در این است که میان Formula و Code فاصله نمی‌گذارد. پس از مطالعه، استفاده از Libraryهای استاندارد نیز معنادارتر می‌شود، زیرا خواننده می‌داند Training، Prediction، Evaluation و Data Preparation در پشت API چه نقشی دارند. برای یادگیری واقعی، بهترین روش اجرای Exampleها، تغییر Parameterها و مقایسه نسخه دستی با Implementationهای حرفه‌ای است.