طراحی ربات Crawler و Extractor سایت‌های ایرانی (اسکیل پذیر)

نیاز به طراحی و توسعه یک ماژول Crawler و Extractor برای استخراج داده از حدود ۲۰ سایت ایرانی وجود دارد. حدود ۷ سایت از این منابع احتمالاً نیازمند لاگین هستند و اطلاعات ورود، در صورت نیاز، توسط کارفرما ارائه خواهد شد. هدف پروژه صرفاً نوشتن چند اسکریپت جداگانه نیست؛ بلکه باید یک ربات ماژولار، تمیز و قابل توسعه طراحی شود تا تیم فنی کارفرما بتواند در آینده سایت‌های مشابه دیگر را نیز با حداقل تغییر به آن اضافه کند. ساختار کد باید خوانا، مستند و قابل نگهداری باشد و افزودن منبع جدید از طریق تعریف پترن، Adapter، Parser یا ساختار مشابه انجام شود، نه با تغییر گسترده در هسته اصلی برنامه. ربات باید قابلیت اجرا به‌صورت سرویس مستقل را داشته باشد و بتوان آن را از طریق API یا Web Service فراخوانی کرد. همچنین پروژه باید به‌صورت Dockerize تحویل شود تا نصب، اجرا و انتقال آن ساده باشد. استفاده از ابزارهایی مانند Firecrawl، Scrapy، Playwright، Selenium یا سایر ابزارهای مناسب قابل قبول است؛ اما معیار اصلی ارزیابی، کیفیت معماری، پایداری استخراج، تمیزی کد، توسعه‌پذیری و قابلیت استفاده عملیاتی است. الزامات اصلی: پیاده‌سازی استخراج داده برای ۲۰ سایت اولیه پشتیبانی از سایت‌های دارای لاگین، حدود ۷ سایت طراحی ساختار ماژولار برای افزودن سایت‌های مشابه توسط تیم فنی کارفرما امکان اجرا به‌عنوان سرویس خارجی از طریق API تحویل نسخه Dockerized مدیریت خطا، لاگ، Timeout و Retry خروجی ساختاریافته و قابل استفاده، ترجیحاً JSON مستندسازی نصب، اجرا، ساختار پروژه و روش افزودن سایت جدید تحویل کد تمیز، خوانا و قابل توسعه تست توسعه‌پذیری: در پایان پروژه، برای سنجش کیفیت طراحی و توسعه‌پذیری، ۱۰ سایت مشابه دیگر توسط کارفرما برای تست معرفی می‌شود. انتظار می‌رود ربات و ساختار طراحی‌شده بتواند با کمترین تغییر و در زمان منطقی برای این سایت‌ها نیز عملکرد مطلوب داشته باشد. این تست بخشی از معیار پذیرش پروژه خواهد بود. خروجی‌های مورد انتظار: کد کامل پروژه پیاده‌سازی ۲۰ سایت اولیه API قابل استفاده فایل‌های Docker و مستند راه‌اندازی مستند افزودن سایت جدید نمونه خروجی برای منابع پیاده‌سازی‌شده لاگ و گزارش خطا توضیح مختصر معماری فنی معیار پذیرش: پروژه زمانی قابل قبول است که ربات روی ۲۰ سایت اولیه عملکرد صحیح داشته باشد، خروجی‌ها ساختاریافته و قابل استفاده باشند، سایت‌های دارای لاگین به‌درستی مدیریت شوند، پروژه از طریق Docker قابل اجرا باشد، API قابل تست ارائه شود و تیم فنی کارفرما بتواند براساس مستندات، سایت‌های مشابه جدید را اضافه کند. در صورت رضایت از کیفیت کار، امکان واگذاری توسعه سایت‌های بعدی و ادامه همکاری وجود خواهد داشت.