ساخت سیستم هوشمند جمع‌آوری و پردازش آگهی‌های ملکی

معرفی پروژه ما در حال توسعه یک پلتفرم تخصصی در حوزه املاک هستیم و به دنبال یک برنامه‌نویس برای طراحی و پیاده‌سازی یک سیستم هوشمند جمع‌آوری، استخراج، استانداردسازی و مدیریت اطلاعات آگهی‌های ملکی هستیم. هدف پروژه این است که اطلاعات فایل‌های ملکی از منابع مختلف، در چارچوب دسترسی‌های مجاز و شرایط استفاده هر سرویس، دریافت و به یک دیتابیس استاندارد و قابل استفاده در CRM و اپلیکیشن اصلی منتقل شود. منابع داده موردنظر * Telegram * Divar * Sheypoor * Kilid * امکان اضافه کردن منابع جدید در آینده سیستم باید از ابتدا به شکل ماژولار و قابل توسعه طراحی شود؛ به‌گونه‌ای که اضافه کردن Source جدید بدون بازنویسی هسته سیستم امکان‌پذیر باشد. ⸻ شرح کلی سیستم معماری مورد انتظار: Data Sources → Collector → Raw Data → Parser → Validation → Duplicate Detection → Human Review → Master Database → API سیستم باید بتواند اطلاعات خام را دریافت کرده، اطلاعات ملک را از متن استخراج و استاندارد کند و در نهایت یک رکورد کامل و قابل جستجو در دیتابیس ایجاد نماید. ⸻ اطلاعاتی که باید از هر آگهی استخراج شود اطلاعات پایه * کد آگهی * عنوان * نوع معامله * نوع ملک * نوع کاربرد * متراژ * تعداد اتاق * سال ساخت * طبقه * تعداد کل طبقات * تعداد واحد در طبقه موقعیت * استان * شهر * منطقه * محله * خیابان * کوچه * آدرس * لوکیشن در صورت وجود اطلاعات تماس * نام مالک / آگهی‌دهنده در صورت وجود * شماره تماس * شماره‌های تماس دیگر * نوع آگهی‌دهنده در صورت قابل تشخیص بودن اطلاعات مالی * قیمت کل * قیمت متری * مبلغ رهن * مبلغ اجاره * ودیعه * شرایط پرداخت * قیمت پیش‌فروش مشخصات ملک * پارکینگ * انباری * آسانسور * بالکن * استخر * سونا * جکوزی * روف‌گاردن * لابی * نگهبانی * سالن ورزشی * سایر امکانات اطلاعات سند * نوع سند * وضعیت سند * پایان کار * جواز * وضعیت انتقال اطلاعات تکمیلی * توضیحات کامل آگهی * تصاویر * لینک منبع * تاریخ انتشار * تاریخ مشاهده توسط سیستم * منبع آگهی ⸻ قابلیت بسیار مهم: تشخیص فایل تکراری یک ملک ممکن است همزمان در چند کانال تلگرام و چند سایت آگهی شده باشد. سیستم باید بتواند فایل‌های مشابه را شناسایی کند. مثلاً بر اساس: * شماره تماس * متراژ * قیمت * محله * آدرس * تعداد خواب * عنوان * تصاویر و برای هر مورد یک Similarity Score ارائه دهد. مثلاً: احتمال تکراری بودن: 94٪ سپس اپراتور بتواند فایل را تأیید، رد یا با فایل قبلی Merge کند. ———— سیستم Validation اطلاعات استخراج‌شده باید قبل از ورود نهایی بررسی شوند. مثلاً اگر: قیمت کل = 35 میلیارد متراژ = 137 متر سیستم باید قیمت متری را محاسبه کرده و با قیمت اعلام‌شده مقایسه کند. در صورت وجود اختلاف غیرعادی: ⚠️ نیازمند بررسی نمایش داده شود. ⸻ Confidence Score برای فیلدهای استخراج‌شده بهتر است میزان اطمینان نیز ذخیره شود. مثلاً: * متراژ: 99٪ * قیمت: 99٪ * محله: 92٪ * سال ساخت: 97٪ فایل‌هایی که Confidence پایین‌تری دارند وارد صف بررسی دستی شوند. ⸻ پنل مدیریت یک پنل تحت وب برای مدیریت داده‌ها لازم است. داشبورد نمایش: * تعداد آگهی‌های دریافت‌شده * تعداد فایل‌های جدید * فایل‌های پردازش‌شده * فایل‌های نیازمند بررسی * فایل‌های تکراری * فایل‌های تأییدشده * فایل‌های ردشده * خطاهای سیستم * آمار هر Source بخش‌ها * Dashboard * Sources * Raw Messages * New Properties * Pending Review * Approved Properties * Duplicate Properties * Rejected Properties * Search * Users * Logs * Settings ⸻ صفحه بررسی فایل اپراتور باید بتواند اطلاعات خام و اطلاعات استخراج‌شده را همزمان مشاهده کند. مثلاً: سمت چپ: متن / اطلاعات اصلی آگهی سمت راست: اطلاعات ساختاریافته و بتواند هر فیلد را اصلاح کند. گزینه‌ها: * تأیید * ویرایش و تأیید * رد * تکراری * Merge * نیازمند بررسی ⸻ دیتابیس پیشنهاد اولیه: PostgreSQL ساختار باید Relational، تمیز و قابل توسعه باشد. حداقل Entityها: * Users * Sources * SourceAccounts * RawListings * Properties * PropertyImages * PropertyContacts * PropertyLocations * PropertyPrices * PropertyFeatures * DuplicateMatches * ProcessingLogs * AuditLogs ⸻ API سیستم باید API استاندارد داشته باشد تا در آینده به CRM، سایت و اپلیکیشن اصلی متصل شود. تکنولوژی پیشنهادی پیشنهاد ما: Backend Python + FastAPI Database PostgreSQL Frontend React / Next.js Infrastructure Docker + Linux AI قابل استفاده از API مدل‌های زبانی برای Parsing و Classification اما پیشنهاد فنی شما نیز قابل بررسی است؛ لطفاً در پیشنهاد خود معماری و Stack پیشنهادی را توضیح دهید. ⸻ الزامات مهم پروژه 1. معماری ماژولار اضافه کردن Source جدید باید ساده باشد. مثلاً بعداً بتوانیم: Telegram Divar Sheypoor Kilid Source 5 Source 6 را بدون تغییر اساسی هسته سیستم اضافه کنیم. 2. ذخیره Raw Data اطلاعات خام هر آگهی باید قبل از پردازش ذخیره شود. 3. مالکیت کامل سورس‌کد تمام Source Code، Database، Documentation و فایل‌های Deployment متعلق به کارفرما خواهد بود. 4. Git Repository باید از ابتدا در حساب/سازمان متعلق به کارفرما قرار گیرد. 5. مستندسازی تحویل Documentation فنی الزامی است. 6. امنیت اطلاعات تماس و داده‌های حساس باید دسترسی کنترل‌شده داشته باشند. 7. Backup سیستم باید قابلیت Backup و Restore داشته باشد.