قسمتی از پروژه‌ی بیگ دیتا

این پروژه دو بخش دارد. لطفا بخش اول و گام‌های ۱،۲،۳، از بخش دوم رو چقدر انجام می‌دید کل پروژه رو چقدر؟ در این پروژه، شما با یک مجموعه‌داده واقعی (real-world dataset) کار خواهید کرد، فرآیندهای ETL (استخراج، تبدیل، بارگذاری) را انجام می‌دهید، یک انبار داده (Data Warehouse) یا مکعب داده (Data Cube) می‌سازید و تصاویر و نمودارهای تحلیلی (Visualizations) ایجاد می‌کنید. شما باید از ابزارهای زیر استفاده کنید: SSAS (SQL Server Analysis Services) Power BI SQL Server Management Studio (SSMS) Alteryx Apache Spark یا Snowflake 🧩 ساختار پروژه در دو بخش است بخش ۱: انتخاب یک شرکت یا کسب‌وکار و نشان دادن کاربرد داده‌ها در آن از طریق مفاهیمی که تا الان یاد گرفته‌اید. نتیجه می‌تواند به شکل گزارش یا مجموعه‌ای از نمودارها و تحلیل‌ها باشد که بینشی از فعالیت‌های تجاری آن سازمان ارائه می‌دهد. بخش ۲: آماده‌سازی ارائه (PowerPoint Presentation) در حدود ۱۰ تا ۱۵ دقیقه که در آن: شرکت و حوزه فعالیتش را معرفی کنید، تحلیل خود را توضیح دهید، نتایج را تفسیر کنید، و توضیح دهید چرا از هر فناوری خاص در فرآیند استفاده کرده‌اید. 📊 جزئیات پروژه استفاده از ۵ مرحله تحلیل داده‌های بزرگ (Big Data Analysis) یک سناریو طراحی کنید تا با استفاده از داده‌های بزرگ، یک مشکل خاص را حل کنید. 🪜 گام ۱: انتخاب و کاوش داده‌ها (Data Selection & Exploration) انتخاب یک مجموعه‌داده از منابع عمومی مثل Kaggle، Data.gov، یا Google Dataset Search، یا از منابع سازمانی. 🔹 باید از بیش از ۳ منبع داده استفاده کنید و حداقل ۱۰۰ هزار رکورد داشته باشید. توصیف مجموعه‌داده (اندازه، ساختار، نوع داده‌ها، مقادیر گمشده، ویژگی‌های کلیدی). استفاده از SSMS برای بررسی و پاک‌سازی داده‌ها. شناسایی یک مسئله یا سؤال تجاری که تحلیل شما آن را پاسخ دهد. 📄 تحویل: گزارش کوتاهی که مجموعه‌داده و مسئله کسب‌وکار را توضیح می‌دهد. 🪜 گام ۲: پیش‌پردازش و ETL داده‌ها (Data Preprocessing & ETL) استفاده از یکی از ابزارهای Alteryx، Apache Spark یا Snowflake برای پاک‌سازی و تبدیل داده‌ها. مدیریت داده‌های گمشده، مقادیر تکراری و رکوردهای ناسازگار. ایجاد اتصالات (joins)، تجمیع‌ها (aggregations) و فیلدهای محاسباتی (calculated fields) مورد نیاز. 📄 تحویل: یک نمودار فرآیند (Process Flow Diagram) و توضیح مختصری از مراحل ETL انجام‌شده. 🪜 گام ۳: مدل‌سازی تب‌محور SSAS (SSAS Tabular Model) ایجاد جداول بعد (Dimension) و واقعیت (Fact) در SQL Server یا Snowflake. ساخت یک مدل تب‌محور (Tabular Model) در SSAS. تعریف Measures پیاده‌سازی تجمیع‌ها (Aggregations) و اعضای محاسباتی (Calculated Members) آزمایش مدل با کوئری‌های نمونه. 📄 تحویل: نمودار ERD اسکریپت SQL برای ساخت شِما اسکرین‌شات‌هایی از مدل 🪜 گام ۴: تحلیل داده‌ها و کوئری‌ها (Data Analysis & Queries) نوشتن حداقل ۵ کوئری SQL برای تحلیل داده‌ها (مثلاً تحلیل روند، رتبه‌بندی، بخش‌بندی مشتریان و...) اجرای کوئری‌ها در SSMS، Apache Spark (PySpark/SQL) یا Snowflake 📄 تحویل: اسکریپت کوئری‌ها و نتایج آن‌ها. 🪜 گام ۵: تجسم و گزارش‌دهی در Power BI (Visualization & Reporting) اتصال Power BI به SSAS یا SSMS. ایجاد حداقل ۵ نمودار یا تجسم داده (Visualizations). 📄 تحویل: فایل Power BI با پسوند .pbix و توضیحات نهایی. 🪜 گام ۶: ارائه نهایی و مستندسازی (Final Presentation & Documentation) 🧑‍🏫 ارائه: یک ارائه ۱۰ تا ۱۵ دقیقه‌ای شامل: بیان مسئله (Problem Statement) فرآیند ETL مدل داده بینش‌ها و نتایج کلیدی از Power BI 📘 مستندسازی: گزارش نهایی باید شامل موارد زیر باشد: مقدمه و توضیح مجموعه‌داده روش‌شناسی ETL مدل شِما و مدل تب‌محور SSAS کوئری‌ها و بینش‌های کلیدی چالش‌ها و راه‌حل‌ها 📄 تحویل نهایی: فایل پاورپوینت ارائه و گزارش نهایی لطفا اگر تجربه‌ی کافی دارید و می‌تونید انجامش بدین ، پیام بزارید