اغلب شاخص های ارزیابی مدل های رگرسیونی، بر مبنای محاسبه اندازه خطای پیش بینی می باشد. زیرا بر خلاف مدل های رده بندی، در مسائل پیش بینی داده های کمی، شاخص هایی مانند صحت مدل (با مفهومی که در مسائل رده بندی آشنا شدیم) وجود ندارد. بلکه به دنبال معیارهایی برای اندازه گیری میزان نزدیکی مقدار پیش بینی شده با مقدار واقعی هستیم.
Error = Real Value – Predicted Value
شاخص Mean Absolute Error (MAE)
شاخص MAE یکی از ساده ترین معیارهای ارزیابی مدلهای رگرسیونی می باشد. این شاخص متوسط اندازه خطای پیش بینی را محاسبه می کند و تفسیر خوبی از میزان اثربخشی مدل فراهم میکند.
نکته: با حذف قدر مطلق و محاسبه میانگین خطا Mean Error، با توجه به گذر خط رگرسیونی از مرکز ثقل داده ها، بایستی عدد صفر بدست آید. در صورت محاسبه مقدار کوچکتر یا بزرگتر از صفر، می توان گفت مدل دارای سوگیری Bias به سمت بیش برآوردی یا کم برآوردی می باشد.
شاخص Mean Absolute Percentage Error (MAPE)
شاخص MAPE شباهت زیادی به MAE دارد، با این تفاوت که اندازه خطای پیش بینی در این شاخص بصورت درصدی از مقدار واقعی بیان می شود. به همین علت تفسیر راحت تری از ارزیابی مدل ایجاد می کند. در صورت برداشتن قدر مطلق از رابطه، می توان جهت مثبت و منفی خطا را در مقدار شاخص Mean Percentage Error مشاهده کرد و مشابه شاخص Mean Error در خصوص امکان سوگیری مدل قضاوت نمود.
در استفاده از شاخص MAPE به دو مورد بایستی توجه نمود:
- در صورت صفر بودن مقدار واقعی در یک رکورد، مقدار MAPE قابل محاسبه نمی باشد.
- درصد خطای پیش بینی محاسبه شده در این شاخص در ارتباط با اندازه مقدار واقعی می تواند تفاوت زیادی ایجاد نماید.
شاخص Mean Square Error (MSE)
در محاسبه شاخص MSE از میانگین توان دوم خطای پیش بینی استفاده می شود. به همین دلیل بر خلاف شاخص MAE که در محاسبه آن تمام خطاها هم وزن بوده اند، دراین شاخص هرچه میزان خطای پیش بینی بزرگتر باشد، وزن بیشتری در میزان MSE خواهد داشت.
در واقع این شاخص حساسیت بیشتری به مقادیر پرت نشان می دهد.
انتخاب بین شاخص های MAE و MSE کاملا به اهداف مسئله وابسته است. استفاده از شاخص MSE این اطمینان را به ما می دهد که مدل حساسیت لازم در ارزیابی مقادیر پرت را داراست.
با توجه به اینکه توان دوم خطای پیش بینی، منجر به ایجاد داده های بزرگ شده و مقیاس داده ها را تغییر می دهد، معمولا برای تفسیر بهتر نتایج ارزیابی از جذر این شاخص به عنوان (RMSE) Root Mean Square Error استفاده می شود.
