دانلود مقاله بهبود سرعت یادگیری شبکه های عصبی
نوع فایل : Word
تعداد صفحات : 30
فهرست و پیشگفتار
مقدمه
شبکه های عصبی چند لایه پیش خور1 به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.
الگوریتم یادگیری پس انتشار خطا2، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل3 می باشد و در چارچوب یادگیری عملکردی 4 قرار می گیرد.
عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.
علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:
- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.
- سرعت همگرایی الگوریتم BP، خیلی آهسته است.
از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.
در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند…
خلاصه ای از الگوریتم BP
فرمول بندی الگوریتم BP
معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)
شکل (1). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR
بهبود الگوریتم استاندارد پس انتشار خطا (SBP)
- الگوریتم BP از نوع دسته ای1 (BBP)
شکل (2). رفتار شبکه با الگوریتم BBP در مسأله XOR ( ـــ )
رفتار شبکه با الگوریتم SBP (0ـــ)
- روش ممنتم 1 برای الگوریتم BP (MBP)
شکل(3): رفتار شبکه با الگوریتم MBP درمسأله XOR (ــــ)
رفتار شبکه با الگوریتم SBP(.ــــ)
- نرخ یادگیری متغیر1 (VLR)
مراحل الگوریتم VLR، به طور خلاصه
شکل (4). – رفتار شبکه با الگوریتم VLR برای مسأله XOR ( ـــ )
رفتار شبکه با الگوریتم SBP (0 ـــ)
- تغییرات نرخ یادگیری (α) در کل فرآیند یادگیری برای مسأله XOR
1- الگوریتم BP
- الگوریتم پس انتشار خطای تطبیقی1 (ABP)
شکل (5). منحنی یادگیری الگوریتم BP تطبیقی برای XOR
- الگوریتم پس انتشار خطا با نرخ یادگیری و ضریب ممنتم تطبیقی1 (BPALM)
شکل(6). – منحنی یادگیری الگوریتم BPALM در مسأله XOR
- تغییرات نرخ یادگیری
- تغییرات ضریب ممنتم
- تغییرات علامت1
شکل (7). منحنی یادگیری الگوریتم Delta Bar Delta Rule در مسأله XOR
- الگوریتم یادگیری Super SAB
شکل (8). منحنی یادگیری الگوریتم Super SAB برای مسأله XOR
2- الگوریتم پس انتشار خطا با سه ترم
آنالیز همگرایی
الف. تست پایداری جوری:
ب. شرط پایداری برای ماتریس D
تئوری (1):
حالت اول:
حالت دوم:
تئوری (3):
شکل (9). منحنی یادگیری الگوریتم BP دارای سه ترم، در مسأله XOR
شکل (10). منحنی یادگیری الگورتم GBP در مسأله XOR به ازای S=2 و S=1
- الگوریتم پس انتشار خطای بهبود پذیر1 (Rprop)
نتیجه گیری
مراجع
مرجع فارسی:
مقاله بهبود سرعت یادگیری شبکه های عصبی
