محاسبه میزان خطا (error) در شبکه عصبی

در جلسه پنجم از دوره آموزش رایگان شبکه عصبی می خواهیم به محاسبه میزان خطا در شبکه عصبی بپردازیم. با ما همراه باشید.

محاسبه خطا در شبکه عصبی

در شبکه عصبی باید مقدار خطا محاسبه و سپس در شبکه توزیع شود. بسته به نوع مساله می توانیم از روش های مختلفی برای محاسبه خطا استفاده کنیم.

محاسبه خطا در مسأله رگرسیون 

در این حالت به ازای هر بردار ورودی، یک بردار پیش بینی خواهیم داشت. برای محاسبه خطا باید مقدار هدف (y_true) را با خروجی محاسبه شده شبکه (y_predict) مقایسه کنیم. این مقایسه می تواند بر اساس میانگین مربعات خطا (Mean Squared Error)، میانگین قدرمطلق خطا (Mean Absolute Error) و یا روش های دیگر انجام شود.

محاسبه خطا در مسأله دسته بندی 

در این حالت می توانیم از روش های آنتروپی متقاطع (cross entropy) برای محاسبه خطا استفاده کنیم. به عنوان مثال فرض کنید مساله ما یک مساله سه کلاسه برای دسته بندی اسب، سگ و گربه است. در این حالت تعداد نورون های لایه خروجی باید برابر تعداد کلاس ها باشد.

همچنین تابع فعالسازی در لایه خروجی، تبدیلی روی مقادیر پیش بینی شده توسط مدل اعمال می کند که می توان تعبیر احتمالی از این مقادیر داشت. به این ترتیب که مقدار تمامی المان های بردار پیش بینی شده بین صفر و یک و جمع مقادیر برابر یک خواهد بود.

حال فرض کنید خروجی محاسبه شده شبکه (0.4 , 0.4 , 0.2) و مقدار هدف (0 , 1 , 0) باشد. در این حالت، دیاگرام شبکه مشابه شکل زیر است:

بدین ترتیب می توانیم با استفاده از رابطه زیر میزان خطای آنتروپی متقاطع را محاسبه کنیم:

که در آن y_ti مقدار هدف برای کلاس i ام و y_pi احتمال پیش بینی شده توسط مدل برای آن کلاس است که با جاگذاری در این رابطه با توجه به اینکه مقادیر هدف برای کلاس های اول و سوم صفر است، خواهیم داشت:

در نتیجه میزان خطای آنتروپی متقاطع برای مثال فوق برابر 0.96 خواهد بود که خطای زیادی است. حالت ایده آل زمانی است که احتمال پیش بینی شده برای کلاس هدف برابر 1 باشد. در این صورت از آنجایی که ln 1 = 0 است خطای آنتروپی متقاطع برابر صفر خواهد بود و این یعنی مدل دقت بسیار خوبی در تشخیص این کلاس داشته است.