طراحی و توسعه چالش ارزیابی هوش مصنوعی با Docker و Python

ما به یک متخصص ارشد (Senior Developer / Domain Expert) نیاز داریم تا یک چالش ترمینالی دشوار و واقع‌گرایانه برای ارزیابی پیشرفته‌ترین مدل‌های هوش مصنوعی (AI Agents) طراحی کند. این تسک باید یک سناریوی مهندسی در سطح دنیای واقعی باشد که حل آن نیاز به استدلال چندمرحله‌ای، کاوش و دانش تخصصی دارد. پروژه باید در بستر کانتینرهای Docker بسته بندی شده و دارای یک سیستم ارزیاب خودکار (Verifier) کاملاً قطعی باشد. این پروژه بر اساس استانداردهای دقیق پلتفرم Project Insight / Terminal-Bench 3 انجام می‌شود. مراحل و وظایف اصلی (Scope of Work): فاز ۱: نگارش و تایید پروپوزال (Proposal) پیش از هرگونه کدنویسی، فریلنسر باید یک پروپوزال کوتاه (به زبان انگلیسی) تدوین کند که شامل موارد زیر باشد: Difficulty: چرا این تسک برای یک انسان متخصص سخت است و چرا هوش مصنوعی در آن به مشکل می‌خورد؟ (نیاز به استدلال‌های تخصصی، نه فقط حجم زیاد کار). Approach: ایده محوری و روش حل دقیق مسئله چیست؟ Verification: خروجی دقیقاً چیست و سیستم ارزیاب چگونه صحت آن را بدون بررسی کدهای نوشته شده (فقط از روی نتیجه) تایید می‌کند؟ نکته: کدنویسی تنها پس از تایید این پروپوزال توسط پلتفرم آغاز خواهد شد. فاز ۲: پیاده‌سازی محیط و فایل‌های اصلی (Implementation) پس از تایید پروپوزال، فریلنسر باید ساختار زیر را به صورت کامل و بدون نقص توسعه دهد: instruction.md: صورت‌مسئله به زبان طبیعی و بدون هیچ‌گونه راهنمایی یا اشاره به روش حل (کمتر از ۱۵۰۰ توکن). task.toml: فایل پیکربندی شامل متادیتا، دسته‌بندی، منابع سخت‌افزاری لازم (CPU/RAM) و زمان‌بندی‌ها. environment/Dockerfile: ایمیج کانتینر عامل هوش مصنوعی که حاوی تمام ابزارها و دیتای اولیه است (بدون لو رفتن راه‌حل). solution/solve.sh (Oracle): راه‌حل مرجع و کامل فریلنسر که نشان می‌دهد این چالش به صورت ۱۰۰٪ قابل حل است. tests/: توسعه فایل‌های test.sh و test_outputs.py (با استفاده از Pytest) و tests/Dockerfile برای اجرای ایزوله ارزیاب. ارزیاب باید صرفاً خروجی نهایی را بسنجد و نمره قطعی 0 یا 1 بدهد. فاز ۳: اعتبارسنجی محلی و تحویل نهایی (Local Validation & PR) پیش از تحویل نهایی، فریلنسر موظف است تست‌های زیر را در سیستم خود (با ابزار Harbor) با موفقیت پاس کند: اجرای Oracle: راه‌حل مرجع باید به درستی کار کرده و از ارزیاب نمره ۱.۰ بگیرد. اجرای Nop: اجرای محیط بدون هیچ اقدامی، باید نمره کمتر از ۱ بگیرد تا مشخص شود سیستم ارزیاب به اشتباه نمره قبولی نمی‌دهد. ارسال خروجی‌ها به صورت یک Pull Request روی مخزن گیت‌هاب ما و رفع خطاهای احتمالی در سیستم CI/CD پلتفرم. الزامات و مهارت‌های مورد نیاز: تجربه Senior در مهندسی نرم‌افزار، زیرساخت، امنیت یا علوم داده. تسلط کامل به لینوکس، Bash Scripting و Python. تسلط پیشرفته به Docker (نوشتن Multi-stage builds و مدیریت وابستگی‌ها). تسلط به اصول تست‌نویسی خودکار (Automated Testing / Pytest) و طراحی تست‌های غیرقابل تقلب (Deterministic Verifiers). تسلط کامل به زبان انگلیسی برای نگارش پروپوزال و صورت‌مسئله. شرایط پرداخت (Milestones): این پروژه به صورت مرحله‌ای یک مرحله ای و درصورت تایید تمام مراحل زیر پرداخت خواهد شد: مرحله اول : تدوین پروپوزال و تایید آن توسط سیستم اتوماتیک پلتفرم. مرحله دوم : تحویل کامل کدهای داکر، راه‌حل مرجع و فایل‌های تست + پاس شدن تست‌های لوکال (Oracle=1 و Nop=0). مرحله سوم : ارسال Pull Request، عبور موفقیت‌آمیز از فیلتر مدل‌های هوش مصنوعی (Pass@2 - که اثبات می‌کند تسک بیش از حد آسان نیست) و تایید و Merge نهایی در پلتفرم و تایید انسانی نهایی توسط کارفرما. لطفاً در زمان ارسال پیشنهاد، مختصری از ایده خود برای یک چالش سخت (Task Idea) که قابل ارزیابی قطعی باشد را بیان کنید.