کتاب Practical Web Scraping for Data Science (وب‌اسکرپینگ کاربردی برای علم داده) نسخه انگلیسی PDF | سپه وندن بروک و بارت باسنس

راهنمای کدمحور استخراج داده از وب با پایتون برای متخصصان علم داده

کتاب آموزشی Practical Web Scraping for Data Science نوشته سپه ون دن بروک و بارت بایسنس، یک راهنمای عملی برای استخراج داده با پایتون است. این کتاب حتی نحوه شکستن کپچاها (CAPTCHA) با استفاده از یادگیری عمیق و شبکه‌های عصبی را به شما آموزش می‌دهد.

استخراج داده‌ها از وب؛ مهارتی ضروری برای دیتاساینتیست‌های مدرن

در دنیای امروز که داده‌ها به عنوان «نفت جدید» شناخته می‌شوند، وب بزرگترین منبع و معدن این طلای نامرئی است. بسیاری از پروژه‌های علم داده (Data Science) با یک چالش اساسی آغاز می‌شوند: دسترسی به مجموعه داده‌های مناسب. اگرچه گاهی این داده‌ها به صورت ساختاریافته توسط شرکت‌ها یا رابط‌های برنامه‌نویسی اپلیکیشن (API) در اختیار ما قرار می‌گیرند، اما بسیاری از اطلاعات ارزشمند تنها در صفحات وب و به شکلی کاملاً بدون ساختار (HTML) پنهان شده‌اند. مرورگرهای وب برای نمایش بصری این اطلاعات به انسان‌ها بهینه‌سازی شده‌اند، نه برای استخراج داده توسط کامپیوترها. کتاب Practical Web Scraping for Data Science دقیقاً برای حل همین مشکل نوشته شده است.

این کتاب که توسط سپه ون دن بروک (Seppe vanden Broucke) و بارت بایسنس (Bart Baesens)، اساتید برجسته دانشگاه KU Leuven بلژیک، به رشته تحریر درآمده است، یک راهنمای کاملاً عملی، مدرن و مبتنی بر کد برای یادگیری وب اسکریپینگ با زبان برنامه‌نویسی پایتون است. نویسندگان این کتاب که خود دیتاساینتیست هستند، به خوبی می‌دانند که وب اسکریپینگ صرفاً یک مهارت برنامه‌نویسی نیست، بلکه بخش جدایی‌ناپذیری از چرخه عمر یک پروژه علم داده است. آن‌ها در این کتاب از رویکردهای قدیمی فاصله گرفته و منحصراً بر روی کتابخانه‌های متن‌باز و مدرن پایتون ۳ تمرکز کرده‌اند.

بخش اول: مبانی وب اسکریپینگ و جادوی سوپ زیبا (Beautiful Soup)

نویسندگان کتاب کار خود را با تشریح معماری وب آغاز می‌کنند. برای اینکه بتوانید داده‌ها را به صورت خودکار استخراج کنید، ابتدا باید درک عمیقی از پروتکل HTTP (پروتکل انتقال ابرمتن) داشته باشید. کتاب به شکلی جذاب توضیح می‌دهد که وقتی آدرسی مانند [www.google.com](https://www.google.com) را در مرورگر خود وارد می‌کنید، چه اتفاقاتی در لایه‌های مختلف شبکه (از DNS گرفته تا پروتکل‌های TCP و IP) رخ می‌دهد. سپس نحوه کار با کتابخانه محبوب requests در پایتون آموزش داده می‌شود؛ کتابخانه‌ای که به شعار «ساخته شده برای انسان‌ها» معروف است و پیچیدگی‌های ارسال درخواست‌های GET و دریافت پاسخ‌های سرور را به حداقل می‌رساند.

اما دریافت کدهای یک صفحه وب تازه آغاز راه است. زبان نشانه‌گذاری HTML ساختار صفحات را تشکیل می‌دهد و CSS ظاهر آن‌ها را تعیین می‌کند. برای استخراج اطلاعات مفید از میان انبوهی از تگ‌های درهم‌ریخته‌ی HTML، کتاب شما را با کتابخانه‌ی قدرتمند Beautiful Soup آشنا می‌کند.

یک جزئیات جالب از متن کتاب: نام این کتابخانه از یک شعر معروف در کتاب آلیس در سرزمین عجایب اثر لوئیس کارول الهام گرفته شده است. در آن داستان، شخصیتی به نام «لاک‌پشت خیالی» آوازی می‌خواند که با این کلمات آغاز می‌شود: «سوپ زیبا، بسیار غنی و سبز / منتظر در یک ظرف داغ!» (Beautiful Soup, so rich and green / Waiting in a hot tureen!). دقیقاً همان‌طور که در داستان آمده، این کتابخانه نیز تلاش می‌کند تا پیچیدگی‌ها را سازماندهی کند و کدهای نامرتب و بدساختار HTML در وب را به یک ساختار درختی مرتب و قابل استفاده در پایتون تبدیل کند.

در این بخش، شما یاد می‌گیرید که چگونه با استفاده از سلکتورهای CSS (CSS Selectors) و متدهای find و find_all، جداول، لینک‌ها و متون خاص را از دل صفحات ویکی‌پدیا بیرون بکشید.

بخش دوم: تکنیک‌های پیشرفته، جاوا اسکریپت و خودکارسازی مرورگر

در حالی که استخراج داده از صفحات استاتیک نسبتاً ساده است، وب مدرن پر از صفحات پویا و پیچیده است. بخش دوم کتاب به سراغ چالش‌های جدی‌تر می‌رود. شما یاد می‌گیرید که چگونه فرم‌های وب را پر کنید، درخواست‌های POST ارسال کنید، و از همه مهم‌تر، با کوکی‌ها (Cookies) و سشن‌ها (Sessions) کار کنید. کتاب به خوبی توضیح می‌دهد که چگونه برخی سرورها (به‌ویژه سایت‌های ساخته شده با ASP.NET) از فیلدهای پنهانی مانند __VIEWSTATE برای پیگیری وضعیت استفاده می‌کنند و یک اسکریپر چگونه باید این فیلدها را در درخواست‌های خود لحاظ کند تا با خطای سرور مواجه نشود.

اما بزرگترین چالش در وب اسکریپینگ مدرن، جاوا اسکریپت (JavaScript) است. بسیاری از سایت‌ها محتوای خود را از طریق درخواست‌های غیرهمزمان (AJAX) بارگذاری می‌کنند یا برای جلوگیری از ربات‌ها، کدها را مبهم‌سازی (Obfuscate) می‌کنند. وقتی کتابخانه‌های ساده‌ای مانند requests به بن‌بست می‌رسند، نویسندگان ابزار نهایی را معرفی می‌کنند: سلنیوم (Selenium).

سلنیوم به شما اجازه می‌دهد تا یک مرورگر واقعی (مانند کروم یا فایرفاکس) را به صورت خودکار کنترل کنید. کتاب نحوه استفاده از درایورهای مرورگر (از جمله مرورگرهای بدون رابط گرافیکی یا Headless مانند PhantomJS) را آموزش می‌دهد تا بتوانید اقداماتی مانند اسکرول کردن به پایین صفحه برای بارگذاری محتوای بیشتر، کلیک روی دکمه‌ها و اجرای کدهای جاوا اسکریپت سفارشی را مستقیماً از طریق پایتون انجام دهید.

نویسندگان همچنین تفاوت ظریف بین «اسکریپینگ» (استخراج داده از یک صفحه مشخص) و «کرالینگ» (خزیدن در میان لینک‌ها و صفحات متعدد) را بررسی می‌کنند. در این بخش، شما یاد می‌گیرید که چگونه با استفاده از پایگاه داده‌های سبک مانند SQLite و کتابخانه dataset، لینک‌های بازدید شده را ردیابی کنید تا خزنده‌ی شما در یک حلقه بی‌نهایت (Infinite Loop) گرفتار نشود و بتواند فرآیند خود را پس از هرگونه قطعی اینترنت از سر بگیرد.

بخش سوم: ملاحظات مدیریتی، قانونی و پروژه‌های واقعی

وب اسکریپینگ فقط نوشتن کد نیست؛ بلکه درک جایگاه آن در استراتژی‌های کلان سازمانی و شناخت خطرات قانونی آن است. در فصل هفتم، کتاب چارچوب‌های استانداردی مانند CRISP-DM را معرفی می‌کند و نشان می‌دهد که استخراج داده‌ها از وب در کجای فرآیند «درک کسب‌وکار» و «آماده‌سازی داده‌ها» قرار می‌گیرد.

یکی از ارزشمندترین بخش‌های این کتاب، بررسی دقیق پرونده‌های حقوقی واقعی مرتبط با وب اسکریپینگ است. قانون، به خصوص در مواجهه با فناوری‌های جدید، همواره دارای مناطق خاکستری است. کتاب به طور مفصل به چندین دعوای حقوقی معروف اشاره می‌کند. برای مثال:

• پرونده LinkedIn علیه hiQ Labs: استارتاپ hiQ از داده‌های عمومی پروفایل‌های لینکدین برای تحلیل منابع انسانی استفاده می‌کرد. لینکدین تلاش کرد با استفاده از قانون تقلب و سوءاستفاده رایانه‌ای (CFAA) جلوی آن‌ها را بگیرد، اما دادگاه در حکمی اولیه به نفع استارتاپ رأی داد و اعلام کرد که دسترسی به داده‌های عمومی بدون نیاز به ورود (Login) شامل این قانون نمی‌شود.

• پرونده Ryanair: دادگاه دادگستری اروپا حکم داد که صاحبان پایگاه‌های داده می‌توانند استفاده از داده‌های خود را از طریق شرایط و ضوابط (Terms and Conditions) سایت محدود کنند.

• دعوای Copiepresse با گوگل: رسانه‌های بلژیکی از گوگل به دلیل نقض حق تکثیر (کپی‌رایت) در سرویس اخبار خود شکایت کردند که منجر به یک نبرد حقوقی طولانی و حذف موقت این سایت‌ها از نتایج جستجوی گوگل شد.

این بخش به شما یادآوری می‌کند که به عنوان یک دیتاساینتیست، باید به مفاهیمی چون قوانین کپی‌رایت، شرایط استفاده از سایت‌ها و فشار نیاوردن به سرورها (با ارسال درخواست‌های بیش از حد) احترام بگذارید.

مثال‌های عملی و پروژه‌های صفر تا صد (فصل نهم)

نقطه اوج کتاب در فصل نهم آن قرار دارد؛ جایی که تمام تئوری‌ها در قالب ۱۵ پروژه واقعی و جذاب پیاده‌سازی می‌شوند. این پروژه‌ها صرفاً کدنویسی خام نیستند، بلکه نشان می‌دهند چگونه داده‌های استخراج شده می‌توانند به بینش‌های ارزشمند (Insights) تبدیل شوند. برخی از این مثال‌های جذاب عبارتند از:

۱. تحلیل احساسات نظرات آمازون: در این پروژه، نظرات کاربران درباره یک کتاب (Learning Python اثر Mark Lutz) از آمازون استخراج شده و سپس با استفاده از کتابخانه‌های nltk و vaderSentiment، بار معنایی (مثبت، منفی، خنثی) هر جمله تحلیل می‌شود. در نهایت، نتایج با کتابخانه matplotlib به صورت نمودارهای ویولنی (Violin Plots) مصورسازی می‌شوند تا رابطه بین امتیاز ستاره‌ها و لحن متن بررسی شود. ۲. استخراج و خوشه‌بندی تصاویر مد: تصاویری از لباس‌ها از فروشگاه Zalando استخراج شده و با استفاده از الگوریتم t-SNE در کتابخانه scikit-learn خوشه‌بندی (Clustering) می‌شوند تا لباس‌های دارای رنگ و بافت مشابه گروه‌بندی گردند. ۳. تحلیل گراف‌های ویکی‌پدیا و اعضای هیئت مدیره: با استخراج لینک‌های بین مقالات ویکی‌پدیا و همچنین لیست اعضای هیئت مدیره شرکت‌های S&P 500 از سایت رویترز، گراف‌های ارتباطی پیچیده‌ای با استفاده از کتابخانه NetworkX ساخته شده و در نرم‌افزارهایی مانند Gephi به تصویر کشیده می‌شوند. ۴. شکستن کپچاها با یادگیری عمیق (Deep Learning): یکی از پیشرفته‌ترین پروژه‌های کتاب است. در این بخش با استفاده از کتابخانه بینایی ماشین OpenCV (برای نویزگیری و جداسازی حروف) و کتابخانه Keras با پس‌زمینه CNTK یا Tensorflow، یک شبکه عصبی کانولوشنال (CNN) آموزش داده می‌شود تا حروف موجود در تصاویر کپچا (CAPTCHA) را با دقت ۹۲ درصد تشخیص داده و سیستم‌های ضدربات را دور بزند.

کتاب Practical Web Scraping for Data Science یک راهنمای جامع، واقع‌بینانه و به‌شدت کاربردی است که مهارت جمع‌آوری داده‌ها را در شما به سطح یک متخصص حرفه‌ای ارتقا می‌دهد.