خودکارسازی استخراج ایمیل از صفحات Scopus با استفاده از AI

--- ## **عنوان / Title:** **خودکارسازی استخراج ایمیل نویسنده مسئول از صفحات Scopus با استفاده از AI و ChatGPT** **AI + Browser Automation to Extract Corresponding Author Emails from Scopus Pages via ChatGPT** --- ## **توضیحات / Description:** **FA (فارسی):** به یک فریلنسر یا مشاور هوش مصنوعی نیاز دارم که یک سیستم **کاملاً خودکار** برای استخراج ایمیل نویسنده مسئول از صفحات مقالات Scopus ایجاد کند. ### فرایند دستی فعلی 1. صفحه مقاله را در مرورگر Firefox یا Chrome باز می‌کنم (پروکسی فقط روی این مرورگرها برای Scopus تنظیم شده است). 2. کل محتوای صفحه را (گاهی چند صفحه برای یک مقاله) کپی می‌کنم. 3. محتوا را در ChatGPT (حساب پرمیوم مشترک) قرار می‌دهم. 4. ChatGPT ایمیل نویسنده مسئول و وابستگی سازمانی را شناسایی کرده و به صورت جدول برمی‌گرداند: | عنوان مقاله | نام ژورنال | نویسنده مسئول | ایمیل | وابستگی | این روش جواب می‌دهد اما برای حجم بالا بسیار کند است. --- ### هدف خودکارسازی - ایجاد یک گردش کار خودکار با مرورگر (Firefox یا Chrome) که: 1. صفحات مقالات Scopus را از یک فهرست URL یا نتایج جستجو باز کند. 2. محتوای صفحه را (با پشتیبانی از صفحات چندگانه) کپی نماید. 3. محتوا را به صورت خودکار با استفاده از API ChatGPT ارسال کند. 4. خروجی ساختارمند در قالب جدول (JSON/CSV) دریافت کند. 5. نتایج همه مقالات پردازش‌شده را در فایل CSV/Excel ذخیره کند. - توانایی پردازش **تا حدود ۱۰۰۰ مقاله در روز**. - اجرا به صورت خودکار روی **VPS** برای کارکرد ۲۴/۷. - مدیریت خطاها (نبود داده، فیلدهای ناقص، محدودیت درخواست‌ها). --- ### جزئیات فنی - **مرورگر:** Firefox یا Chrome (با الزام پروکسی). - **ابزار خودکارسازی:** Selenium، Playwright یا مشابه. - **یکپارچه‌سازی AI:** API اوپن‌اِی‌آی برای ChatGPT. - **خروجی:** CSV یا Excel با ستون‌های موردنیاز. - **مدیریت حجم بالا:** پردازش دسته‌ای و ادامه از آخرین نقطه در صورت توقف. --- ### تحویل‌ها / Deliverables - اسکریپت یا نرم‌افزار خودکارسازی کاملاً عملیاتی. - دستورالعمل نصب و اجرای روی VPS. - تست با ۲۰–۳۰ مقاله برای اطمینان از صحت. - کد منبع با توضیحات. --- ### مهارت‌های موردنیاز / Skills Required - خودکارسازی مرورگر (Playwright، Selenium، Puppeteer). - یکپارچه‌سازی با API اوپن‌اِی‌آی. - استخراج و قالب‌بندی داده‌ها به‌صورت ساختارمند. - تجربه در استخراج حجم بالای داده وب با محدودیت پروکسی. --- **EN (English):** I need a freelancer (or AI consultancy) to build a **fully automated system** that extracts **corresponding author emails** from Scopus journal article pages. ### Current Manual Process 1. I open a Scopus article page in Firefox or Chrome (proxy is already configured on these browsers for Scopus). 2. I manually copy the entire page content (sometimes multiple pages per article). 3. I paste this content into ChatGPT (Premium account; shared access). 4. ChatGPT detects the **corresponding author email** + affiliation and returns a table like this: | Article Title | Journal Name | Corresponding Author | Email | Affiliation | --- ### The Automation Goal - Create a **browser automation workflow** (Firefox or Chrome) that: 1. Opens Scopus publication pages (from a list of URLs or search results). 2. Copies the visible page content (with multi‑page support). 3. Sends this content automatically to ChatGPT via the OpenAI API (Premium account). 4. Gets the AI’s structured table output (in JSON/CSV format). 5. Saves results to a CSV/Excel file for all processed articles. - Must be able to process **up to ~1,000 articles/day**. - Should run automatically on our **VPS** for 24/7 operation. - Must handle errors gracefully (no output, missing fields, rate limits). --- ### Technical Details - **Browser**: Firefox or Chrome (proxy requirement). - **Automation Tools**: Selenium, Playwright, or similar. - **AI Integration**: OpenAI API for ChatGPT. - **Output**: CSV/Excel with required columns. - **Volume Handling**: Batch processing, restart/resume if interrupted. --- ### Deliverables - Working automation script/application. - Setup instructions for VPS deployment. - Test run with 20–30 Scopus articles to confirm accuracy. - Source code with comments. --- ### Skills Required - Browser automation (Playwright, Selenium, Puppeteer). - OpenAI API integration. - Data parsing & structured output formatting. - Experience with high‑volume web data extraction under proxy constraints. ---