پروژه درس داده كاوي

ديتا ست يك فايل اكسل با صد ركورد و 10ويژگي است كه يك ستو ن آن(QUALITY) برچسب است. كه تحويل داده مي شود. مراحل مورد نياز: نمونه گيري(تقسيم Dta Set به داده هاي Train و Test) استفاده از روش هاي زير: 1-1 k fold cross validation 1-2 balance 1-3 اگر داده ها متوازن (Balance ) نباشند، نمونه گيري بايد متوازن باشد و با معيارهاي زير ارزيابي شود: الف- F-Measure ب- Precision ج- Recall د- AUC ه- Accuracy و- متوسط هاي macro –micro و average شاخص هاي ارزيابي F-Score/Accuracy/precision/recallگزارش شود. 2. پيش پردازش 1-2 Missing value imputation نياز نياز است تا missing value مصنوعي به صورت تصادفي و در 5 الي 10 درصد داده ها ايجاد كنيم. ميسينگ وليو ها بايد تمامي ركوردها و ستون ها را شامل شود نمودار وجود ميسينگ وليو و همچنين نمودار بعد از پركردن ميسينگ وليو نمايش داده شود. 2-2 Outlier detection & removal 3-2 Rescale كردن داده ها در صورت نياز 3-2 گسسته سازي در صورت نياز 4-2 Normalization ، استاندارد سازي 3- Train classifier شامل: (آموزش و ساخت Classifier به همراه روش تقسيم تصادفي به Train و Test همچنين K-Fold validation) 1-3 decision tree 2-3 KNN 3-3 SVM 4-3 Random Forest 5-3 Bagging 6-3 Boosting نكته: تنظيم هايپر پارامترها بسيار مهم مي باشد و نحوه تنظيم آنها بايد به صورت كامل توضيح داده شود روش هاي توصيه شده توسط اسناد Grid Search 4- رسم نمودار Roc و Percisio Recall 5- انجام Exploratory data analysis توصيف مشخصه ها و رسم نموادرهايي كه به درك مخاطب كمك كند. ( Pair Plot، Heat map، هيستوگرام ، باكس پلات و ...) 6- خوشه بندي با 1-6 K Means 2-6 خوشه بندي سلسله مراتبي، تبديل به k خوشه به ترتيبي كه با شاخص هاي ديويس بلدينگ، وان و سيلوئت ارزيابي شود. 3-6 چون برچسب كلاس داريم، حتما External Validation خوشه بندي با استفاده از شاخص هاي انتروپي، خطاي دسته بندي و انديس جيني محاسبه شودو بهترين خوشه بندي را بر اساس آن نمودار و نقطه زانويي انتخاب كنيد 4-6 Feature Selection روي نتايج خوشه بندي برتر انجام شود. همينطور روي نتايج برچسب كلاس ها (يعني Feature selection هم براي تعيين Feature هاي متمايز كننده خوشه ها و هم براي تعيين Feature هاي متمايز كننده كلاس ها انجام شود). 7- قواعد انجمني استخراج شود كه از آن براي دسته بندي استفاده مي شود. 8- روي تنظيم Interest Measure ها بحث كنيد. 9- عنوان هر بخش برنامه به صورت Heading و Markdown آورده شود.توضيحات كامل تر در خصوص كد نويسي هر مبحث به صورت فايل word ارائه شود.