نمودار بهره و ارتقا (Gain & Lift Chart)
ابزار دیگری که برای ارزیابی مدل های دسته بندی استفاده می شود استفاده از روشهای بصری GainChart و LiftChart می باشد. بر خلاف ماتریس در هم ریختگی که شاخص های ارزیابی روی کل مجموعه داده ها محاسبه می شدند، این ابزارها روی نسبت های مختلفی از داده ها محاسبه می شوند.
محاسبه و رسم نمودار بهره و ارتقا (Gain & Lift Chart)
گام اول: انتخاب کلاس هدف (hit) برای رسم چارت (بطور مثال کلاس مثبت)
گام دوم: مرتب سازی بزرگ به کوچک کلیه رکوردها بر اساس احتمال دارا بودن کلاس هدف (بر اساس میزان Confidence هر پیش بینی توسط مدل ساخته شده)
گام سوم: تقسیم بندی کلیه رکوردهای مرتب شده در nدسته برابر (بطور مثال 10دسته) با حفظ ترتیب آنها
گام دوم و سوم، در واقع عملیات گسسته سازی رکوردها، روی میزان اطمینان کلاس هدف با روش چندک ها می باشد.
گام چهارم: محاسبه شاخص Gain و Lift برای هر دسته و محاسبه میزان تجمعی آن ها
گام پنجم: رسم چارت
محاسبه و رسم نمودار بهره و ارتقا Gain & Lift Chart
مثال:
مجموع رکوردها: 25000
مجموع رکوردهای کلاس هدف: 4874
گسسته سازی: در 10 دهک
محاسبه و رسم نمودار بهره و ارتقا (Gain & Lift Chart)
مثال:
مجموعه رکوردها: 25000
مجموع رکورد های کلاس هدف: 4874
گسسته سازی: در 10 دهک
محاسبه Baseline
در این حالت با فرض برچسب گذاری تصادفی، میزان احتمال وقوع کلاس هدف در مجموعه داده ها محاسبات مربوط به شاخص های Gain و Lift انجام می شود. بطور مثال در صورتیکه %20 داده ها کلاس مثبت باشند، در هر دسته به میزان %20 از داده ها برچسب مثبت داده می شود.
محاسبه (Perfect CAP) Best Line
در این حالت مدل با خطای صفر در نظر گرفته می شود و در هر دسته تمامی رکورد های ممکن دارای برچسب کلاس هدف در نظر گرفته میشود تا جایی که تعداد رکوردهای کلاس هدف به اتمام برسد.
منحنی ROC (Receiver Operating Characteristics Curve)
یکی از رایج ترین ابزارهای بصری جهت ارزیابی کارایی مدل های رده بندی استفاده از منحنی ROC می باشد.
شاید بتوان تحلیل سیگنال‌های رادار در جنگ جهانی دوم را اولین زمان ظهور منحنی ROC و کاربردهای آن دانست. البته بعدها از چنین منحنی در «نظریه شناسایی سیگنال» (Signal Detection Theory) نیز استفاده شد.
پس از جنگ در «پرل هاربر» (Pearl Harber) در سال ۱۹۴۱، که نیروهایی آمریکایی به شدت آسیب دیدند، ارتش آمریکا تصمیم گرفت سیگنال‌های راداری (Radar Signal) به منظور کشف و شناسایی هواپیماهای ژاپنی را بهبود دهد.
برای این کار، آنها توانایی یک گیرنده رادار را در تشخیص هواپیما اندازه‌گیری کردند و از آن پس واژه «مشخصه عملکرد گیرنده» (Receiver Operating Characteristic) برای ارزیابی عملکرد دستگاه‌های تشخیص سیگنال، مورد استفاده قرار گرفت.
در دهه 1950، منحنی‌های ROC در روانشناسی نیز به کار گرفته شدند تا ضعف در قوه تشخیص انسان‌ها (و گاهی حیوان) را مورد بررسی و ارزیابی قرار دهند. در پزشکی، تجزیه و تحلیل ROC به طور گسترده‌ای در سنجش صحت آزمایش‌های تشخیص پزشکی و تعیین میزان دقت چنین آزمایشاتی، مورد استفاده قرار گرفته است.
منحنی‌های ROC همچنین در اپیدمیولوژی و تحقیقات پزشکی بسیار مورد استفاده قرار می‌گیرند. در رادیولوژی، تجزیه و تحلیل ROC یک روش معمول برای ارزیابی تکنیک‌های جدید رادیولوژی است. همچنین در علوم اجتماعی، آنالیز منحنی ROC اغلب به عنوان «نسبت دقت مشخصه عملکرد» (ROC Accuracy Ratio)، یاد شده و یک تکنیک معمول برای قضاوت در مورد مدل‌های احتمال پیش‌بین (Predictive Probability Model) است.
منحنی ROC و کاربردهای آن در یادگیری ماشین بخصوص در شاخه نظارت شده آن، مفید بوده است. به این ترتیب مقادیر مربوط به منحنی ROC میتواند مبنایی برای مقایسه و ارزیابی الگوریتم‌های دسته‌بندی (Classifiers Algorithms) باشد. منحنی‌های ROC همچنین در تأیید پیش بینی‌ها در هواشناسی نیز مورد بهره‌برداری قرار می‌گیرد.
یک منحنی مشخصه عملکرد که به اختصار آن را منحنی ROC می‌نامیم، یک نمودار برای نمایش توانایی ارزیابی یک سیستم دسته‌بندی باینری محسوب میشود که آستانه تشخیص آن نیز متغیر است.
منحنی ROC توسط ترسیم نسبت یا نرخ مثبت صحیح (True Positive Rate) که به اختصار TPR نامیده میشود برحسب نرخ مثبت کاذب (False Positive Rate) با نام اختصاری FPR، ایجاد میشود. البته توجه داشته باشید که آستانه برای این مقادیر، متغیر است. به همین دلیل، یک نمودار پیوسته ایجاد خواهد شد.
«نرخ مثبت صحیح» را در «یادگیری ماشین» (Machine Learning) گاهی «حساسیت» (Sensitivity) یا «بازیابی» (Recall) یا «احتمال شناسایی» (Probability Detection) می‌نامند. همچنین «نرخ مثبت کاذب» هم به صورت «احتمال دریافت اخطار کاذب» (Probability False Alarm) شناخته شده و براساس متمم «ویژگی» (Specificity) سنجیده میشود. البته در ادامه هر یک از این نسبت‌ها، در جدول۱، توصیف خواهند شد.
در این ابزار، مقادیر TPR (نرخ مثبت هایی که به درستی توسط مدل شناسایی شدند-شاخص Recall/Sensitivity ) به عنوان نقطه قوت مدل (میزان سود) در مقابل مقادیر FPR (نرخ مثبت کاذب- 1-Specificity) به عنوان نقطه ضعف مدل (میزان هزینه) قرار می گیرد و برای ارزیابی مدل به دنبال مصالحه بین سود و هزینه می باشد.
در این نمودار، خط نیمساز به عنوان مدل انتخاب تصادفی است و هرچه منحنی ROC یک مدل، فاصله بیشتری از آن بگیرد نشان دهنده کارایی بیشتر آن مدل است.
برای محاسبه نقاط منحنی،ROC بایستی مقادیر مختلفی از مقادیر TPR و FPR به ازای هر مدل محاسبه شود.
مثال: فرض کنید برای 10 رکورد جدول فوق، با استفاده از مدل رده بند A، احتمال تعلق به کلاس مثبت برای تمام رکورد ها محاسبه شده است.
گام اول: مرتب سازی رکوردها بر اساس احتمال تعلق به کلاس مثبت
گام دوم: با در نظر گرفتن هر یک از مقادیر احتمال تعلق به کلاس مثبت، به عنوان حد آستانه ای (برش) برای تفکیک کلاسهای مثبت و منفی، ماتریس در هم ریختگی مربوط به آن ایجاد و بر اساس آن مقادیر شاخص های TPR و FPR محاسبه میشود.
گام سوم: رسم منحنی ROC بر اساس نقاط TPR و FPR به تفکیک هر حد آستانه ای (برش) واتصال آن ها، بدین ترتیب استفاده از نمودار ROC در تعیین بهترین نقطه آستانه ای برای تفکیک کلاس ها نیز مفید است
شاخص Area Under Curve (AUC)
شاخص AUC منحنی ROC را در قالب یک مقدار کمی اندازه گیری کرده و قابلیت مقایسه بین مدل ها را فراهم می کند.
با توجه به اینکه مساحت زیر خط نیمساز برابر با عدد 0.5 می باشد، بنابراین مدل مطلوب بایستی مقداری بیش از 0.5 داشته باشد. بدیهی است در بهترین حالت که مقدار FPR برابر با صفر و مقدار TPR برابر با یک باشد، مقدار بیشینه مساحت زیر منحنی برابر با یک خواهد بود و عدد AUC در اغلب مدل ها در بازه (0,1) قرار می گیرند.
استفاده از شاخص AUC برای مسائلی که توزیع فیلد هدف نامتوازن می باشد، میتواند گمراه کننده باشد. در این نوع مسائل استفاده از شاخص های Recall و Precision می تواند گزینه بهتری برای ارزیابی مدلها باشد.
مثال: میزان AUC در مدل های A و B برابر است؛ اما به وضوح می توان دید در مسائلی که نرخ هشدار اشتباه دارای هزینه زیادی هست مدل A دارای نتیجه بهتری نسبت به
مدل B می باشد. همچنین مدل B نیز در مسائلی که دسترسی به کلاس مثبت اهمیت بالایی دارد نسبت به مدل A دارای ارجحیت است.
