کتاب یادگیری ماشین احتمالاتی اثر کوین مورفی نسخه PDF انگلیسی

معرفی کتاب Probabilistic Machine Learning: An Introduction اثر Kevin P. Murphy

Probabilistic Machine Learning: An Introduction نوشته Kevin P. Murphy یکی از منابع جامع و مدرن برای یادگیری Machine Learning از زاویه احتمال، آمار، تصمیم‌گیری و بهینه‌سازی است. این کتاب در سال 2022 توسط MIT Press منتشر شده و نسخه رسمی آن 864 صفحه دارد. فایل موجود در این محصول با نام Probabilistic Machine Learning- An Introduction.pdf ثبت شده و از نظر عنوان و نویسنده با همین اثر تطبیق دارد.

ایده اصلی کتاب این است که بسیاری از روش‌های Machine Learning، از Linear Regression و Logistic Regression گرفته تا Deep Neural Network، مدل‌های بدون نظارت و Transfer Learning را می‌توان زیر یک زبان مشترک مبتنی بر Probability و Bayesian Decision Theory فهمید. این نگاه به خواننده کمک می‌کند الگوریتم‌ها را به‌صورت تکنیک‌های جدا از هم حفظ نکند و به جای آن ارتباط میان مدل، عدم قطعیت، تابع هدف و تصمیم را درک کند.

چرا رویکرد احتمالاتی در Machine Learning مهم است؟

داده‌های واقعی تقریباً همیشه با عدم قطعیت همراه‌اند. اندازه‌گیری ممکن است نویز داشته باشد، نمونه آموزشی محدود باشد و رابطه میان ورودی و خروجی کاملاً قطعی نباشد. Probability زبان مناسبی برای بیان این عدم قطعیت است. به جای اینکه مدل فقط یک جواب بدهد، می‌تواند درباره میزان اطمینان یا توزیع احتمالی پاسخ نیز اطلاعات ارائه کند.

این دیدگاه هنگام تصمیم‌گیری اهمیت بیشتری پیدا می‌کند. اگر دو Prediction مقدار مشابهی داشته باشند اما یکی عدم قطعیت بسیار بیشتری داشته باشد، رفتار سیستم ممکن است باید متفاوت باشد. Bayesian Decision Theory تلاش می‌کند Prediction را به تصمیمی متصل کند که هزینه و منفعت احتمالی گزینه‌ها را نیز در نظر می‌گیرد.

پایه‌های ریاضی کتاب

کتاب فقط الگوریتم ارائه نمی‌کند و بخشی از مسیر را به ریاضیات لازم برای Machine Learning اختصاص می‌دهد. Linear Algebra برای نمایش Dataset، Parameterها و Transformationها ضروری است. Vector و Matrix در تقریباً تمام مدل‌های مدرن دیده می‌شوند.

Optimization نیز توضیح می‌دهد چگونه Parameterهای مدل طوری انتخاب شوند که Loss یا Objective مشخصی بهتر شود. فهم این دو بخش باعث می‌شود Training مدل از یک عملیات جادویی به فرایندی قابل تحلیل تبدیل شود. خواننده می‌تواند بفهمد چرا Gradient، مشتق و ساختار تابع هدف روی رفتار آموزش اثر می‌گذارند.

احتمال و توزیع‌های آماری

در رویکرد احتمالاتی باید بتوانیم رویداد، متغیر تصادفی، Distribution، Expectation و Conditional Probability را بفهمیم. بسیاری از مدل‌ها فرض می‌کنند داده از یک Distribution مشخص یا خانواده‌ای از توزیع‌ها تولید شده است.

این فرض‌ها همیشه دقیق نیستند، اما مدل‌سازی را ممکن می‌کنند. مهم است بدانیم چه فرضی انجام شده و اگر داده با آن سازگار نباشد چه پیامدی دارد. این طرز فکر یکی از نقاط قوت کتاب است: الگوریتم نه فقط به عنوان Recipe، بلکه به عنوان مجموعه‌ای از فرض‌ها، Parameterها و روش Inference بررسی می‌شود.

Bayes Rule و به‌روزرسانی باور

قضیه Bayes یکی از پایه‌های اصلی Probabilistic Machine Learning است. ایده آن این است که دانش اولیه یا Prior را با Evidence جدید ترکیب کنیم و Posterior به دست آوریم. این فرایند چارچوب طبیعی برای یادگیری از داده ایجاد می‌کند.

در مدل Bayesian، Parameter فقط یک مقدار ثابت ناشناخته نیست و می‌توان درباره آن Distribution داشت. با مشاهده داده، عدم قطعیت درباره Parameter کاهش یا تغییر می‌کند. این دیدگاه به‌خصوص زمانی مفید است که داده محدود باشد یا بخواهیم Uncertainty را به‌صورت صریح نگه داریم.

Maximum Likelihood و Maximum A Posteriori

همه روش‌های کتاب کاملاً Bayesian نیستند. Maximum Likelihood یکی از ابزارهای کلاسیک برای انتخاب Parameter است: مقداری را پیدا می‌کنیم که داده مشاهده‌شده تحت مدل بیشترین احتمال را داشته باشد. MAP نیز Prior را به این فرایند اضافه می‌کند.

مقایسه این روش‌ها کمک می‌کند ارتباط میان Statistics، Regularization و Machine Learning روشن شود. بعضی Regularizerها را می‌توان از دید احتمالاتی به عنوان Prior روی Parameter تفسیر کرد.

Decision Theory؛ از Prediction تا Action

مدل ممکن است احتمال چند خروجی را بدهد، اما سیستم در نهایت باید تصمیم بگیرد. Bayesian Decision Theory هزینه اشتباه‌های مختلف را وارد مسئله می‌کند. در پزشکی، از دست دادن یک مورد مثبت ممکن است هزینه‌ای متفاوت از False Alarm داشته باشد؛ در سیستم مالی نیز نوع خطا روی زیان اثر متفاوتی دارد.

این نگاه باعث می‌شود Accuracy تنها معیار تصمیم‌گیری نباشد. باید ببینیم مدل در چه Contextی استفاده می‌شود و Cost یا Utility واقعی چیست.

Linear Regression

Linear Regression از مباحث پایه Supervised Learning است و برای پیش‌بینی خروجی پیوسته استفاده می‌شود. این مدل نقطه مناسبی برای فهم رابطه میان مدل خطی، Noise، Likelihood و Loss است.

در نگاه احتمالاتی، Regression فقط رسم بهترین خط نیست. فرض درباره Noise می‌تواند به تابع هزینه مشخصی منجر شود. این ارتباط نشان می‌دهد چرا Least Squares در شرایط خاص طبیعی ظاهر می‌شود.

Logistic Regression و Classification

برای خروجی‌های دسته‌ای، Logistic Regression یکی از مدل‌های بنیادی است. مدل به جای مقدار پیوسته مستقیم، احتمال تعلق نمونه به کلاس را برآورد می‌کند. همین خروجی احتمالاتی باعث می‌شود Threshold تصمیم را متناسب با کاربرد تنظیم کنیم.

کتاب از چنین مدل‌هایی برای ساخت پایه ورود به Classification پیچیده‌تر استفاده می‌کند. مفهوم Cross-Entropy، Likelihood و Decision Boundary در این مسیر معنا پیدا می‌کنند.

Generative و Discriminative Modeling

یکی از تمایزهای مهم در Machine Learning تفاوت مدل‌های Generative و Discriminative است. مدل Discriminative مستقیماً رابطه ورودی و خروجی یا مرز تصمیم را یاد می‌گیرد. مدل Generative ساختار تولید داده یا Joint Distribution را مدل می‌کند.

هیچ‌کدام به صورت مطلق بهتر نیستند. انتخاب به داده، هدف و فرض‌های موجود بستگی دارد. رویکرد احتمالاتی کتاب کمک می‌کند این تفاوت به شکل طبیعی و نه صرفاً اسمی فهمیده شود.

Regularization و جلوگیری از Overfitting

مدل پیچیده می‌تواند داده آموزشی را بسیار خوب توضیح دهد اما روی نمونه جدید ضعیف عمل کند. Regularization راهی برای کنترل ظرفیت یا ترجیح راه‌حل‌های ساده‌تر است.

از دید احتمالاتی، بعضی روش‌های Regularization معادل قرار دادن Prior روی Parameter هستند. این ارتباط میان آمار Bayesian و تکنیک‌های رایج Machine Learning یکی از نمونه‌های همان چارچوب یکپارچه کتاب است.

Deep Neural Networks

یکی از تفاوت‌های مهم این کتاب با اثر قدیمی‌تر Kevin Murphy، پوشش جدی‌تر Deep Learning است. شبکه عصبی را می‌توان به عنوان تابع پارامتری بسیار انعطاف‌پذیر دید. لایه‌های متعدد Representationهای مختلفی از داده می‌سازند و Optimization Parameterها را بر اساس Loss تنظیم می‌کند.

کتاب تلاش می‌کند معماری‌های مدرن را از همان اصول Probability، Information Theory و Optimization توضیح دهد، نه به عنوان حوزه‌ای جدا از Machine Learning کلاسیک. این دیدگاه کمک می‌کند پیوند میان روش‌های قدیمی و شبکه‌های عمیق روشن‌تر شود.

Activation، Loss و Optimization

در Deep Learning، انتخاب Activation Function، Loss و Optimizer روی Training اثر مستقیم دارد. Gradient-based Optimization برای تنظیم تعداد بسیار زیادی Parameter استفاده می‌شود و مفاهیمی مانند Learning Rate و Regularization در عملکرد واقعی تعیین‌کننده‌اند.

شناخت ریاضیات پشت این اجزا کمک می‌کند هنگام Training ناموفق فقط Hyperparameterها را تصادفی تغییر ندهیم و بتوانیم دلیل رفتار مدل را تحلیل کنیم.

روش‌های کلاسیک و مدل‌های غیرعمیق

یکی از نقاط قوت کتاب این است که روش‌های مدرن را جایگزین کامل روش‌های کلاسیک نمی‌داند. Linear Modelها، Kernel Methodها، Treeها و مدل‌های آماری کلاسیک همچنان در بسیاری از Datasetهای کوچک و متوسط مناسب‌اند.

شناخت این روش‌ها باعث می‌شود انتخاب مدل بر اساس ساختار مسئله انجام شود، نه صرفاً محبوبیت تکنولوژی. در داده Tabular، گاهی یک مدل ساده‌تر قابل تفسیرتر، سریع‌تر و حتی دقیق‌تر از شبکه عصبی است.

Decision Trees و Ensembleها

Decision Treeها برای داده‌های ساختاریافته کاربرد زیادی دارند. درخت با مجموعه‌ای از Splitها فضای داده را تقسیم می‌کند و تصمیم قابل مشاهده‌ای می‌سازد. مزیت آن تفسیرپذیری نسبی است.

Ensembleها چند مدل را ترکیب می‌کنند تا خطا یا Variance کاهش یابد. این ایده نشان می‌دهد یک مدل واحد همیشه بهترین پاسخ نیست و ترکیب چند Predictor می‌تواند عملکرد پایدارتر ایجاد کند.

Unsupervised Learning

در Unsupervised Learning برچسب صحیح نداریم و هدف پیدا کردن ساختار، گروه یا Representation مفید از داده است. Clustering، Latent Variable Models و Dimensionality Reduction از خانواده‌های مهم این حوزه هستند.

رویکرد احتمالاتی برای مدل‌سازی متغیرهای پنهان بسیار طبیعی است، زیرا می‌توان Distribution روی ساختار ناشناخته تعریف کرد و از داده درباره آن Inference انجام داد.

Clustering

در Clustering می‌خواهیم نمونه‌ها را بر اساس شباهت یا مدل تولید داده در گروه‌های مختلف قرار دهیم. K-Means روش ساده‌ای است، در حالی که Mixture Modelها امکان بیان عدم قطعیت و عضویت نرم‌تر را فراهم می‌کنند.

دید احتمالاتی کمک می‌کند به جای برچسب قطعی، احتمال تعلق نمونه به Componentهای مختلف را در نظر بگیریم. این نکته برای داده‌هایی که مرز گروه‌ها واضح نیست ارزشمند است.

Latent Variable Models

بسیاری از ساختارهای مهم داده مستقیم مشاهده نمی‌شوند. Topic یک سند، Cluster واقعی یا Representation فشرده می‌تواند Latent باشد. مدل متغیر پنهان تلاش می‌کند این ساختار را از داده مشاهده‌شده استنتاج کند.

این ایده در مدل‌های آماری کلاسیک و همچنین بسیاری از مدل‌های مولد مدرن دیده می‌شود. یادگیری مفهوم Latent Variable پایه خوبی برای مطالعه موضوعات پیشرفته‌تر Probabilistic Machine Learning ایجاد می‌کند.

Dimensionality Reduction

Datasetهای مدرن ممکن است هزاران Feature داشته باشند. کاهش ابعاد به دنبال نمایش فشرده‌تر است که ساختار اصلی را تا حد ممکن حفظ کند. PCA نمونه کلاسیک این ایده است و روش‌های جدیدتر Representation Learning آن را گسترش داده‌اند.

کاهش ابعاد می‌تواند برای Visualization، حذف Noise، سرعت مدل و کشف Structure مفید باشد. اما هر Compression بخشی از اطلاعات را از دست می‌دهد و باید با هدف پروژه هماهنگ باشد.

Transfer Learning

Transfer Learning یکی از مباحث مدرن مهم کتاب است. در این رویکرد دانشی که مدل روی Task یا Dataset قبلی آموخته است برای مسئله جدید استفاده می‌شود.

این ایده در Deep Learning اهمیت زیادی دارد، زیرا Training مدل بزرگ از صفر هزینه بالایی دارد. Fine-tuning یا استفاده از Representation قبلی می‌تواند با داده کمتر نتیجه مناسب‌تری تولید کند.

ارتباط Machine Learning کلاسیک و مدرن

یکی از اهداف مهم اثر ساخت پل میان دو نسل روش‌هاست. Probability، Statistics، Decision Theory و Optimization اصول مشترکی هستند که هم در مدل‌های کلاسیک و هم در Deep Learning دیده می‌شوند.

این دیدگاه برای دانشجو مفید است، زیرا به جای تصور «قدیمی در برابر جدید»، می‌تواند ببیند Loss، Regularization، Inference و Generalization چگونه در مدل‌های مختلف شکل‌های متفاوت پیدا می‌کنند.

کدهای همراه کتاب

کتاب منابع آنلاین رسمی گسترده‌ای دارد و برای بازتولید بسیاری از شکل‌ها کد Python ارائه شده است. ابزارهایی مانند scikit-learn، JAX، PyTorch و TensorFlow در منابع همراه استفاده شده‌اند. بخشی از کدها از طریق Notebook و Colab قابل اجرا هستند.

این موضوع مطالعه را عملی‌تر می‌کند. خواننده می‌تواند فرمول و شکل را ببیند و سپس کد تولید همان نتیجه را اجرا، تغییر و مقایسه کند. این اتصال میان نظریه و پیاده‌سازی یکی از ویژگی‌های مهم کتاب است.

تمرین‌های پایان فصل

کتاب تمرین‌های پایان فصل دارد تا خواننده فقط مصرف‌کننده توضیح نباشد. برای یادگیری جدی بهتر است حداقل بخشی از تمرین‌ها حل شوند.

فهم فرمول هنگام خواندن با توانایی بازسازی و استفاده از آن تفاوت دارد. تمرین‌ها کمک می‌کنند نقاطی که در ظاهر روشن بوده‌اند اما در عمل هنوز مبهم‌اند مشخص شوند.

تفاوت با کتاب Machine Learning: A Probabilistic Perspective

این اثر فقط چاپ جدید کتاب سال 2012 Murphy نیست. ساختار جدید برای بازتاب تحولات حوزه، به‌خصوص Deep Learning، طراحی شده است. مجموعه جدید Probabilistic Machine Learning شامل یک کتاب مقدماتی و یک جلد جدا برای Advanced Topics است.

بنابراین خواننده نباید انتظار داشته باشد محتوای این کتاب صرفاً همان متن قدیمی با چند فصل اضافه باشد. رویکرد و سازمان‌دهی آن برای تصویر مدرن‌تر از Machine Learning بازسازی شده است.

این کتاب برای چه کسانی مناسب است؟

• دانشجویان Machine Learning و Artificial Intelligence که منبع جامع و ریاضی می‌خواهند.
• پژوهشگران تازه‌وارد که نیاز دارند روش‌های کلاسیک و Deep Learning را در یک چارچوب ببینند.
• مهندسان ML که می‌خواهند پایه Probability و Decision Theory خود را تقویت کنند.
• افرادی که از Frameworkها استفاده کرده‌اند اما می‌خواهند منطق زیرین مدل‌ها را بفهمند.
• دانشجویان آمار، علوم کامپیوتر و مهندسی که با مدل‌سازی عدم قطعیت سروکار دارند.

چه پیش‌زمینه‌ای لازم است؟

این کتاب عنوان Introduction دارد، اما Introduction دانشگاهی و جدی است. آشنایی با Calculus، Linear Algebra، Probability و Programming مطالعه را بسیار ساده‌تر می‌کند. خود کتاب بخشی از پس‌زمینه ریاضی را پوشش می‌دهد، اما اگر این مفاهیم کاملاً جدید باشند احتمالاً باید از منابع مکمل نیز استفاده کنید.

آشنایی با Python برای استفاده از کدهای همراه کتاب مفید است، به‌خصوص اگر بخواهید شکل‌ها و مثال‌ها را در Notebook اجرا کنید.

چطور کتاب را مطالعه کنیم؟

برای فصل‌های بنیادی، ابتدا متن و شهود را بخوانید، سپس Derivationهای اصلی را دنبال کنید و در مرحله سوم کد مربوط را اجرا کنید. این سه مرحله—شهود، ریاضی و تجربه—باعث می‌شوند مفهوم پایدارتر شود.

برای هر مدل بهتر است چهار سؤال را پاسخ دهید: مدل چه فرضی درباره داده دارد؟ چه Parameterهایی یاد می‌گیرد؟ Objective یا Likelihood آن چیست؟ و Prediction یا Decision چگونه تولید می‌شود؟ این چارچوب به مقایسه مدل‌ها کمک زیادی می‌کند.

چرا این کتاب ارزش بررسی دارد؟

Machine Learning امروز مجموعه بزرگی از الگوریتم‌ها و Frameworkهاست و بدون چارچوب مشترک ممکن است یادگیری به حفظ API تبدیل شود. نقطه قوت کتاب Murphy این است که Probability، Statistics، Decision Theory و Optimization را به عنوان زبان مشترک معرفی می‌کند.

این رویکرد باعث می‌شود رابطه میان Linear Model، Bayesian Method و Deep Neural Network روشن‌تر شود. حتی اگر در پروژه روزمره از تمام مدل‌های کتاب استفاده نکنید، فهم این ارتباط‌ها در انتخاب، ارزیابی و توسعه مدل اهمیت دارد.

جمع‌بندی

Probabilistic Machine Learning: An Introduction اثر Kevin P. Murphy یک منبع جامع برای فهم Machine Learning از دید احتمالاتی است. کتاب پایه‌های ریاضی، Probability و Decision Theory را با Supervised Learning، Linear و Logistic Regression، Deep Neural Networks، Transfer Learning و Unsupervised Learning پیوند می‌دهد.

اگر می‌خواهید فقط مدل آماده اجرا نکنید و بفهمید فرض آماری، Uncertainty، Loss و Optimization چگونه با هم کار می‌کنند، این کتاب یکی از منابع جدی برای مطالعه است. وجود کدهای Python و Notebookهای رسمی نیز امکان می‌دهد مطالب نظری با تجربه عملی همراه شوند. مطالعه آن زمان و پایه ریاضی مناسب می‌خواهد، اما برای دانشجو یا مهندس Machine Learning که به دنبال درک عمیق و منظم حوزه است، ارزش آموزشی بالایی دارد.