کتاب یادگیری تقویتی و بهینه‌سازی تصادفی اثر وارن پاول نسخه PDF انگلیسی

معرفی کتاب Reinforcement Learning and Stochastic Optimization اثر Warren B. Powell

کتاب Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions نوشته Warren B. Powell اثری جامع درباره تصمیم‌گیری متوالی در شرایط عدم قطعیت است. این کتاب تلاش می‌کند حوزه‌هایی را که معمولاً با زبان‌ها و چارچوب‌های متفاوت درباره یک مسئله مشابه صحبت می‌کنند، زیر یک مدل واحد کنار هم قرار دهد؛ از یادگیری تقویتی و کنترل بهینه گرفته تا برنامه‌ریزی پویا، بهینه‌سازی تصادفی، تحقیق در عملیات، یادگیری آنلاین و تخصیص منابع.

نسخه رسمی کتاب توسط Wiley در سال 2022 منتشر شده است. اطلاعات فایل موجود در این محصول نیز با همین اثر تطبیق دارد. نویسنده به جای اینکه یادگیری تقویتی را صرفاً مجموعه‌ای از الگوریتم‌های خاص در هوش مصنوعی معرفی کند، مسئله را از زاویه گسترده‌تری بررسی می‌کند: هرجا تصمیمی می‌گیریم، اطلاعات جدیدی دریافت می‌کنیم و سپس باید دوباره تصمیم بگیریم، با یک مسئله تصمیم‌گیری متوالی روبه‌رو هستیم. این الگو در مدیریت منابع، حمل‌ونقل، انرژی، سلامت، تجارت الکترونیکی، مهندسی، مالی و بسیاری از حوزه‌های دیگر دیده می‌شود.

ایده مرکزی کتاب چیست؟

یکی از دشواری‌های یادگیری این حوزه، تنوع اصطلاحات و روش‌هاست. پژوهشگران رشته‌های مختلف ممکن است برای مسائل نزدیک به هم، نمادگذاری و الگوریتم‌های متفاوتی استفاده کنند. Powell تلاش می‌کند این پراکندگی را کاهش دهد و یک چارچوب استاندارد برای مدل‌سازی ارائه کند. در این چارچوب، مسئله تصمیم‌گیری متوالی با پنج مؤلفه اصلی توصیف می‌شود:

• State Variables: اطلاعاتی که وضعیت فعلی سیستم را برای تصمیم‌گیری توصیف می‌کنند.
• Decision Variables: تصمیم یا عملی که در هر مرحله انتخاب می‌شود.
• Exogenous Information: اطلاعات یا رویدادهایی که پس از تصمیم از محیط وارد می‌شوند و کنترل مستقیم روی آن‌ها نداریم.
• Transition Function: رابطه‌ای که نشان می‌دهد وضعیت سیستم بعد از تصمیم و دریافت اطلاعات جدید چگونه تغییر می‌کند.
• Objective Function: معیاری که مشخص می‌کند چه چیزی را می‌خواهیم بهینه کنیم؛ مانند هزینه کمتر، سود بیشتر، زمان کمتر یا کیفیت بهتر.

این پنج جزء به خواننده کمک می‌کنند پیش از انتخاب الگوریتم، خود مسئله را درست مدل کند. یکی از پیام‌های مهم کتاب این است که حل خوب یک مسئله از مدل‌سازی صحیح شروع می‌شود. اگر State ناقص تعریف شود یا منبع عدم قطعیت به‌درستی مشخص نشود، حتی الگوریتم قوی نیز ممکن است تصمیم‌های ضعیفی تولید کند.

تصمیم‌گیری متوالی در شرایط عدم قطعیت

در یک مسئله ایستا، ممکن است یک بار اطلاعات را دریافت کنیم و یک تصمیم نهایی بگیریم. اما در بسیاری از مسائل واقعی چنین نیست. تصمیم امروز روی وضعیت فردا اثر می‌گذارد و فردا نیز اطلاعاتی در دسترس خواهد بود که امروز نمی‌دانیم. برای مثال در مدیریت ناوگان، تصمیم درباره تخصیص یک کامیون به یک مسیر، موقعیت و ظرفیت آن را برای درخواست‌های بعدی تغییر می‌دهد. در مدیریت انرژی، تصمیم ذخیره یا مصرف انرژی اکنون روی گزینه‌های آینده اثر می‌گذارد.

این وابستگی زمانی دلیل اصلی دشواری مسائل Sequential Decision است. تصمیم خوب فقط نباید پاداش لحظه‌ای را ببیند؛ باید اثر احتمالی آن بر آینده را نیز در نظر بگیرد. همین موضوع زمینه مشترک میان Reinforcement Learning، Dynamic Programming و Stochastic Optimization را شکل می‌دهد.

کتاب چگونه یادگیری تقویتی را تعریف می‌کند؟

Powell نگاه گسترده‌ای به Reinforcement Learning دارد. در بسیاری از منابع، RL با مفاهیمی مانند Agent، Environment، Reward و Policy معرفی می‌شود. این کتاب همان مسئله را در چارچوب عمومی تصمیم‌گیری متوالی قرار می‌دهد و ارتباط آن را با رشته‌های دیگری که سال‌ها روی تصمیم تحت عدم قطعیت کار کرده‌اند نشان می‌دهد.

این دیدگاه برای خواننده‌ای که فقط با الگوریتم‌های رایج یادگیری تقویتی آشناست مفید است، زیرا نشان می‌دهد بسیاری از مسائل RL را می‌توان با ابزارهای دیگری نیز تحلیل کرد. در مقابل، کسی که از تحقیق در عملیات یا برنامه‌ریزی پویا می‌آید می‌تواند ببیند روش‌های مدرن یادگیری چگونه در همان چارچوب جای می‌گیرند.

چهار کلاس اصلی Policy

یکی از ساختارهای مهم کتاب، دسته‌بندی روش‌های تصمیم‌گیری یا Policyها در چهار خانواده اصلی است. نویسنده استدلال می‌کند روش‌های مطرح‌شده در ادبیات دانشگاهی و کاربردهای عملی را می‌توان در این چهار گروه گسترده سازمان داد. چنین دسته‌بندی‌ای کمک می‌کند به جای حفظ فهرستی طولانی از الگوریتم‌ها، منطق پشت آن‌ها را درک کنیم.

Policy در اینجا قانونی است که با مشاهده وضعیت فعلی مشخص می‌کند چه تصمیمی باید گرفته شود. بعضی Policyها مستقیم و ساده هستند، بعضی از تقریب ارزش آینده استفاده می‌کنند، بعضی مسئله را با نگاه رو به جلو حل می‌کنند و برخی پارامترهای یک سیاست را از طریق جست‌وجو بهینه می‌کنند. انتخاب میان این خانواده‌ها به ساختار مسئله، حجم داده، میزان عدم قطعیت، هزینه محاسبات و نیاز به تصمیم سریع وابسته است.

Stochastic Search و یادگیری از نمونه‌های تصادفی

بخشی از کتاب به Stochastic Search اختصاص دارد؛ یعنی روش‌هایی که برای بهینه‌سازی از مشاهده‌های نویزی یا نمونه‌های تصادفی استفاده می‌کنند. در بسیاری از مسائل واقعی تابع هدف را نمی‌توان به شکل بسته و دقیق محاسبه کرد. ممکن است تنها بتوانیم یک شبیه‌سازی اجرا کنیم و نتیجه تقریبی به دست آوریم.

در چنین شرایطی الگوریتم باید با نویز کنار بیاید و بر اساس مشاهدات تدریجی به سمت تصمیم بهتر حرکت کند. موضوعاتی مانند Stepsize Policy در همین چارچوب اهمیت پیدا می‌کنند. اگر اندازه گام بیش از حد بزرگ باشد، الگوریتم ممکن است نوسان کند؛ اگر خیلی کوچک باشد، یادگیری بسیار کند می‌شود. کتاب این مسائل را به عنوان بخش جدایی‌ناپذیر بهینه‌سازی تحت عدم قطعیت بررسی می‌کند.

State-Dependent Problems و اهمیت تعریف وضعیت

در مسائل وابسته به وضعیت، تصمیم به اطلاعاتی که از گذشته در State ذخیره شده وابسته است. تعریف State باید به اندازه کافی غنی باشد تا آینده را برای تصمیم‌گیری توصیف کند، اما اگر بیش از حد بزرگ شود حل مسئله بسیار دشوار خواهد شد. این همان جایی است که مشکل معروف «نفرین ابعاد» ظاهر می‌شود.

برای مثال در یک سیستم موجودی، State می‌تواند شامل مقدار فعلی موجودی، سفارش‌های در راه و اطلاعات تقاضا باشد. در یک سیستم حمل‌ونقل، مکان وسایل، ظرفیت‌ها و درخواست‌های فعال ممکن است بخشی از State باشند. طراحی State مناسب یکی از مهم‌ترین مهارت‌هایی است که کتاب روی آن تأکید دارد.

Dynamic Programming و نگاه به ارزش آینده

برنامه‌ریزی پویا چارچوب کلاسیکی برای مسائل تصمیم‌گیری چندمرحله‌ای است. ایده اصلی این است که ارزش یک تصمیم فقط از پاداش فعلی نمی‌آید؛ باید ارزش وضعیتی که پس از آن ایجاد می‌شود نیز محاسبه شود. معادلات Bellman این رابطه را به شکل ریاضی بیان می‌کنند.

کتاب هم Exact Dynamic Programming و هم رویکردهای تقریبی را در بستر چارچوب کلی بررسی می‌کند. روش دقیق در مسائل کوچک می‌تواند جواب بهینه ارائه دهد، اما با افزایش اندازه State و Action معمولاً هزینه محاسباتی به سرعت رشد می‌کند. به همین دلیل در مسائل بزرگ باید سراغ Approximation، Simulation یا Policyهای ساده‌تر رفت.

Policy Search چیست؟

در Policy Search به جای اینکه برای هر State مستقیماً ارزش تمام تصمیم‌ها را محاسبه کنیم، یک خانواده از سیاست‌ها را تعریف می‌کنیم و پارامترهای آن را بهینه می‌کنیم. برای مثال ممکن است یک قانون تصمیم‌گیری دارای Threshold یا چند Weight باشد و هدف پیدا کردن بهترین مقدار این پارامترها باشد.

این رویکرد در مسائل کاربردی بسیار جذاب است، چون گاهی یک Policy ساده و قابل توضیح بهتر از مدل بسیار پیچیده‌ای است که اجرای آن دشوار یا زمان‌بر است. در صنعت، سرعت تصمیم‌گیری، پایداری و قابلیت توضیح نیز می‌توانند به اندازه عملکرد عددی اهمیت داشته باشند.

Direct Lookahead و تصمیم‌گیری با شبیه‌سازی آینده

یکی دیگر از خانواده‌های مهم، Direct Lookahead است. در این رویکرد برای ارزیابی یک تصمیم، چند مرحله آینده را به صورت مدل یا سناریو بررسی می‌کنیم. Model Predictive Control نمونه‌ای از این طرز فکر است: در هر مرحله یک مسئله افق محدود حل می‌شود، اولین تصمیم اجرا می‌شود و پس از دریافت اطلاعات جدید، مسئله دوباره حل می‌شود.

مزیت روش Lookahead این است که مستقیماً آینده احتمالی را وارد تصمیم می‌کند. هزینه آن نیز می‌تواند زیاد باشد، زیرا ممکن است در هر مرحله نیاز به حل یک مسئله بهینه‌سازی جدید وجود داشته باشد. کتاب کمک می‌کند خواننده این Trade-off را در کنار روش‌های دیگر ببیند.

انواع عدم قطعیت

کتاب تنها به یک مدل ساده از تصادفی بودن محدود نمی‌شود. نویسنده انواع مختلف عدم قطعیت را که ممکن است وارد مدل شوند بررسی می‌کند. عدم قطعیت می‌تواند در تقاضا، قیمت، زمان سفر، خرابی، رفتار مشتری، اطلاعات حسگر، نتیجه یک درمان یا پارامترهای ناشناخته مدل ظاهر شود.

نوع عدم قطعیت روی روش حل اثر دارد. اگر توزیع احتمال شناخته‌شده باشد، می‌توان از برخی روش‌های احتمالاتی مستقیم استفاده کرد. اگر پارامترها ناشناخته باشند، خود فرایند تصمیم‌گیری باید هم‌زمان یادگیری نیز انجام دهد. در چنین حالتی مسئله Exploration در برابر Exploitation مطرح می‌شود: چه مقدار باید گزینه جدید را امتحان کنیم تا اطلاعات کسب کنیم و چه مقدار از دانسته فعلی برای گرفتن بهترین نتیجه استفاده کنیم؟

کاربردهای واقعی کتاب

یکی از ویژگی‌های مهم اثر، دامنه وسیع کاربردهاست. معرفی رسمی Wiley به بیش از صد کاربرد مختلف اشاره می‌کند. این نمونه‌ها از مسائل یادگیری خالص تا تخصیص پویای منابع و مسائل ترکیبی را شامل می‌شوند.

• مدیریت حمل‌ونقل و ناوگان
• تخصیص منابع در زنجیره تأمین
• مدیریت انرژی و ذخیره‌سازی
• تصمیم‌گیری مالی و مدیریت ریسک
• سلامت عمومی و تصمیم‌های درمانی
• تجارت الکترونیکی و قیمت‌گذاری
• کنترل و مهندسی
• یادگیری آنلاین و Banditها
• برنامه‌ریزی ظرفیت و موجودی

این تنوع نشان می‌دهد هدف کتاب آموزش یک الگوریتم برای یک کاربرد محدود نیست. نویسنده می‌خواهد خواننده بتواند ساختار مشترک میان مسائل ظاهراً متفاوت را تشخیص دهد.

مدل‌سازی قبل از انتخاب الگوریتم

یکی از ارزشمندترین پیام‌های کتاب این است که نباید از نام یک الگوریتم شروع کرد و بعد به دنبال مسئله‌ای برای آن گشت. ابتدا باید مسئله را مدل کرد: چه چیزی را می‌دانیم، چه تصمیمی در اختیار ماست، چه اطلاعاتی در آینده می‌رسد، سیستم چگونه تغییر می‌کند و هدف چیست. پس از روشن شدن این پنج جزء، انتخاب Policy منطقی‌تر می‌شود.

این روش از خطایی رایج جلوگیری می‌کند؛ اینکه صرفاً به دلیل محبوب بودن Deep Reinforcement Learning، هر مسئله تصمیم‌گیری را به همان شکل حل کنیم. در بعضی مسائل یک Rule ساده، یک مسئله Optimization یا یک Lookahead محدود می‌تواند مناسب‌تر، سریع‌تر و قابل اعتمادتر باشد.

ریاضیات و پیش‌نیازهای کتاب

این کتاب منبعی دانشگاهی و نسبتاً عمیق است. طبق معرفی ناشر، آشنایی با احتمال و آمار برای مطالعه آن مفید و در بخش‌هایی ضروری است. بعضی فصل‌ها نیز از Linear Programming استفاده می‌کنند. بنابراین این اثر برای کسی که هیچ پیش‌زمینه‌ای در ریاضیات دانشگاهی ندارد احتمالاً مطالعه آسانی نخواهد بود.

در عین حال نویسنده تلاش کرده کتاب برای افرادی که تازه وارد حوزه Optimization under Uncertainty می‌شوند نیز قابل استفاده باشد. تعداد زیاد مثال‌ها و کاربردها کمک می‌کند مفهوم ریاضی در زمینه واقعی دیده شود. بهترین روش این است که هنگام رسیدن به بخش‌های دشوار، مثال و تمرین را همراه با فرمول دنبال کنید.

تمرین‌ها و یادگیری فعال

نسخه رسمی کتاب صدها تمرین دارد که در گروه‌های مختلف سازمان‌دهی شده‌اند؛ از سؤال‌های مروری و مدل‌سازی گرفته تا محاسبه، حل مسئله، نظریه و برنامه‌نویسی. این ساختار برای کتابی با این حجم اهمیت دارد، زیرا خواندن منفعلانه فرمول‌ها برای تسلط بر تصمیم‌گیری تصادفی کافی نیست.

یکی از روش‌های مفید مطالعه این است که یک مسئله واقعی یا فرضی را از ابتدای کتاب انتخاب کنید و در هر فصل دوباره به آن برگردید. State، Decision و Objective را تعریف کنید، منابع عدم قطعیت را مشخص کنید و سپس بررسی کنید هر خانواده Policy چگونه می‌تواند مسئله را حل کند.

تفاوت این کتاب با منابع معمول Reinforcement Learning

بسیاری از منابع RL حول Markov Decision Process، Value Function، Q-Learning، Policy Gradient یا Deep RL سازمان‌دهی شده‌اند. این کتاب این مفاهیم را در یک منظره وسیع‌تر قرار می‌دهد و نشان می‌دهد آن‌ها تنها بخشی از جعبه‌ابزار تصمیم‌گیری متوالی هستند.

برای پژوهشگر یادگیری ماشین، این دید می‌تواند ارتباط با Optimization و Operations Research را روشن کند. برای متخصص تحقیق در عملیات نیز کتاب پلی به سمت ادبیات Reinforcement Learning ایجاد می‌کند. همین تلاش برای ایجاد زبان مشترک یکی از ویژگی‌های متمایز اثر است.

این کتاب برای چه کسانی مناسب است؟

• دانشجویان و پژوهشگران یادگیری تقویتی که می‌خواهند دیدی فراتر از الگوریتم‌های متداول RL داشته باشند.
• متخصصان تحقیق در عملیات و بهینه‌سازی تصادفی.
• دانشجویان مهندسی، علوم داده و مالی که با مسائل تصمیم‌گیری چندمرحله‌ای سروکار دارند.
• افرادی که روی تخصیص منابع، انرژی، حمل‌ونقل یا زنجیره تأمین کار می‌کنند.
• پژوهشگرانی که می‌خواهند ارتباط Dynamic Programming، Policy Search و Lookahead را در یک چارچوب ببینند.
• توسعه‌دهندگانی که علاوه بر اجرای الگوریتم، به مدل‌سازی صحیح Sequential Decision Problem اهمیت می‌دهند.

چطور این کتاب را مطالعه کنیم؟

به دلیل حجم و عمق اثر، بهتر است آن را مانند یک مرجع دانشگاهی مطالعه کنید، نه کتابی که باید در چند روز تمام شود. ابتدا فصل‌های معرفی و چارچوب مدل‌سازی را با دقت بخوانید. پنج مؤلفه مسئله را کاملاً درک کنید، چون فصل‌های بعد بر همین زبان مشترک ساخته می‌شوند.

سپس بر اساس هدف خود بخش‌های مربوط به Stochastic Search، State-Dependent Problems، Policy Search یا Dynamic Programming را عمیق‌تر دنبال کنید. اجرای تمرین‌های برنامه‌نویسی و ساخت مدل برای یک مسئله واقعی کمک می‌کند مطالب از سطح تعریف و فرمول عبور کنند.

چرا این کتاب ارزش بررسی دارد؟

ارزش اصلی کتاب در «یکپارچه‌سازی» است. حوزه تصمیم‌گیری تحت عدم قطعیت طی دهه‌ها در رشته‌های مختلف رشد کرده و همین موضوع مجموعه بزرگی از اصطلاحات و روش‌ها ایجاد کرده است. Powell تلاش می‌کند به جای اضافه کردن الگوریتم دیگری به این مجموعه، یک نقشه برای فهم ارتباط میان روش‌ها ارائه کند.

این نگاه می‌تواند انتخاب روش را آگاهانه‌تر کند. به جای اینکه صرفاً بپرسیم «کدام الگوریتم RL بهتر است؟»، سؤال دقیق‌تر می‌شود: ساختار مسئله چیست، چه عدم قطعیتی داریم، محدودیت محاسباتی چیست و کدام کلاس Policy با این شرایط سازگارتر است؟

جمع‌بندی

Reinforcement Learning and Stochastic Optimization اثر Warren B. Powell یک منبع جامع برای مدل‌سازی و حل مسائل تصمیم‌گیری متوالی در شرایط عدم قطعیت است. کتاب با یک چارچوب پنج‌جزئی برای State، Decision، Exogenous Information، Transition و Objective آغاز می‌شود و سپس روش‌های مختلف تصمیم‌گیری را در خانواده‌های منظم بررسی می‌کند.

موضوعاتی مانند Stochastic Search، State-Dependent Problems، Policy Search، Dynamic Programming و Direct Lookahead در کنار کاربردهای گسترده صنعتی و علمی قرار گرفته‌اند. اگر به دنبال کتابی هستید که Reinforcement Learning را در ارتباط با Optimization، Control و Operations Research ببیند، این اثر دیدی عمیق و متفاوت ارائه می‌کند. مطالعه آن نیازمند زمان و پیش‌زمینه مناسب در احتمال و آمار است، اما برای خواننده‌ای که می‌خواهد ساختار واقعی مسائل Sequential Decision را بفهمد، منبعی جدی و ارزشمند محسوب می‌شود.