ساره واحدی

فرایند داده کاوی با استفاده از متدولوژی CRISP-DM هدف نهایی از تحلیل داده، شناسایی و کشف الگوهای موجود در داده ها است. چالش های شناسایی الگوها: انتخاب داده های مناسب، ساخت شاخص های مناسب، انجام تبدیلات مناسب، انتخاب الگوریتم مناسب، انتخاب ارزیابی مناسب، انتخاب الگوی مناسب و… تعریف داده کاوی: بنا بر تعریف اسامه فیاض

در دوره پیش رو مباحث فرآیند داده کاوی در دو بخش ۱- شناخت و آماده سازی داده ها    ۲- مدلسازی و ارزیابی مورد بحث قرار می گیرند. در هر بخش موضوعات مختلفی مطرح خواهد شد که در دیاگرام زیر قابل مشاهده است:

دانش داده کاوی فرآیند کشف دانش پنهان درون داده های انبوه می باشد که این مهم توسط الگوریتم ها و نرم افزارهای داده کاوی انجام می پذیرد. در این میان نرم افزار داده کاوی کلمنتاین (IBM SPSS Modeler) یکی از نرم افزارهای برتر داده کاوی از شرکت IBM می باشد که به صورت گسترده ای

در این بخش به آموزش وارد نمودن انواع دیتا ها از طریق های مختلفی همچون فایل های Comma Separated، اکسل، دیتابیس ها و همچنین Sim Gen آشنا خواهیم شد. علاوه به موارد ذکر شده با نکات ظریف حائز اهمیت جهت ورود دیتا و تنظیمات اولیه آشنا خواهیم شد. در ادامه خواهیم آموخت که چطور از

داده های واقعی عموما دارای انواع مشکلات کیفی هستند که نیاز به پاکسازی را ضروری می نماید. استفاده از داده های خام و دارای مشکلات کیفی، منجر به کاهش عملکرد الگوریتم ها، اختلال در شناسایی الگوها و نتایج گمراه کننده می شود. یکی از چالش‌های مهم و جدی عدم وجود داده‌های صحیح است. به‌عنوان مثال

داده های خارج از بازه: به داده ای، داده خارج از بازه گفته می شود که شرایطی که در آن یک یا چند مقدار با استانداردهای تعریف شده مطابقت ندارد و ماهیتاً آن مقدار نمی تواند درست باشد. به طور مثال: مقادیر وزن منفی یا مقدار درصد بیشتر از ۱۰۰ مقدار سن کمتر از سن

داده های پرت: داده های پرت الزاما داده های اشتباه نیستند بلکه از توزیع آماری بدنه اصلی داده ها پیروی نمی کنند. داده ­های پرت اغلب سه یا بیش از سه واحد انحراف معیار (± 3SD) از میانگین مربوط به خودشان فاصله دارند که از مشکلات احتمالی در ابزار اندازه­ گیری، شیوه ثبت یا ضبط