طراحی و پیاده‌سازی وب (Web Scraper)

۱. معرفی پروژه هدف این پروژه، توسعه یک وب‌اسکرپر هوشمند، انعطاف‌پذیر و قابل توسعه با استفاده از کتابخانه BeautifulSoup در زبان پایتون است. این ابزار باید قادر باشد اطلاعات موردنظر را از وب‌سایت‌های هدف استخراج کرده و آن‌ها را در قالب‌های ساخت‌یافته‌ای مانند JSON، CSV یا Excel ذخیره کند. ۲. اهداف کلیدی استخراج داده‌های مشخص از صفحات وب بر اساس تنظیمات تعریف‌شده ذخیره‌سازی منظم و استاندارد داده‌های جمع‌آوری‌شده کنترل و مدیریت فرآیند اسکرپینگ شامل نرخ درخواست‌ها و مدیریت خطا امکان توسعه آسان برای پشتیبانی از وب‌سایت‌های جدید در آینده ۳. امکانات و قابلیت‌ها الف) ماژول استخراج داده قابلیت تنظیم سریع برای وب‌سایت‌های مختلف استخراج اطلاعات بر اساس: تگ‌های HTML کلاس‌ها و شناسه‌ها (ID) CSS Selector XPath پشتیبانی از انواع داده: متن لینک تصویر جدول داده‌های ساخت‌یافته مانند JSON-LD و Microdata ب) ماژول مدیریت درخواست تنظیم هوشمند فاصله زمانی بین درخواست‌ها رعایت قوانین robots.txt مدیریت کوکی‌ها و نشست‌ها (Session) امکان تنظیم هدرهای HTTP پشتیبانی اختیاری از پروکسی ج) ماژول ذخیره‌سازی خروجی در قالب‌های: JSON CSV Excel SQLite ساختاربندی خودکار داده‌ها امکان ذخیره‌سازی مرحله‌ای (Incremental) د) مدیریت خطا و لاگ ثبت و گزارش خطاهای اسکرپینگ ارائه آمار اجرای برنامه قابلیت ادامه اجرا از آخرین نقطه توقف ۴. فناوری‌های پیشنهادی زبان برنامه‌نویسی: Python 3 کتابخانه‌ها: BeautifulSoup4 (پارس HTML) Requests (ارسال درخواست‌ها) Pandas (پردازش داده‌ها) Selenium (در صورت نیاز به صفحات داینامیک) روش‌های ذخیره‌سازی: SQLite، CSV، JSON ۵. الزامات فنی رعایت اصول اخلاقی وب‌اسکرپینگ پیاده‌سازی مناسب مدیریت خطا کدنویسی ماژولار، تمیز و قابل توسعه مستندسازی کامل کد و ساختار پروژه قابلیت اجرا در سیستم‌عامل‌های مختلف ۶. اقلام تحویلی سورس‌کد کامل پروژه فایل requirements.txt مستندات فنی شامل معماری و ماژول‌ها راهنمای کاربری نمونه خروجی‌های تست‌شده با داده واقعی ۷. معیارهای پذیرش استخراج دقیق اطلاعات از صفحات نمونه عملکرد صحیح در مواجهه با خطاها و شرایط خاص پایداری در اجراهای طولانی‌مدت امکان توسعه و افزودن منابع جدید رعایت استانداردهای برنامه‌نویسی پایتون