مشخصات این فایل
عنوان: بهبود سرعت یادگیری شبکه های عصبی
فرمت فایل :word(قابل ویرایش)
تعدادصفحات :24
این مقاله در مورد بهبود سرعت یادگیری شبکه های عصبی می باشد.
بخشی از تیترها به همراه مختصری از توضیحات هر تیتر ازمقاله بهبود سرعت یادگیری شبکه های عصبی
خلاصه ای از الگوریتم BP
از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون 5 (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.
بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت و مسیر برگشت .
در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه ...(ادامه دارد)
معایب الگوریتم استاندارد پس انتشار خطا (SBP)
الگوریتم BP، با فراهم آوردن روشی از نظر محاسباتی کارا، رنسانسی در شبکه های عصبی ایجاد نموده زیرا شبکه های MLP، با قانون یادگیری BP، بیشترین کاربرد را در حل مسائل فنی- مهندسی دارند.
با وجود، موفقیت های کلی این الگوریتم در یادگیری شبکه های عصبی چند لایه پیش خود، هنوز مشکلات اساسی نیز وجود دارد:
- اولاً سرعت همگرایی الگوریتم BP آهسته است.
همانطور که می دانیم، تغییرات ایجاد شده در پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، پس از هر مرحله تکرار الگوریتم BP، به اندازه ، است، به طوریکه F، شاخص اجرایی، x پارامترهای شبکه ...(ادامه دارد)
روش ممنتم برای الگوریتم BP (MBP)
همانطور که مشاهده شد، اگر نرخ یادگیری α، کوچک انتخاب شود، متد BP که در واقع همان تقریب الگوریتم SD است، بسیار کندمی گردد. و اگر α، بزرگتر انتخاب شود، شبکه نوسانی خواهد بود.
یک راه ساده و مؤثر که عموماً جهت افزایش و بهبود نرخ یادگیری، استفاده می شود- جایی که خطر ناپایداری و نوسانی شدن شبکه جلوگیری می گردد- افزودن یک جمله ممنتم در الگوریتم تقریبی SD می باشد، یعنی به هر پارامتر از شبکه MLP، یک مقدار اینرسی یا اندازه حرکت اضافه می شود تا اینکه پارامتر مورد نظر در مسیری تمایل به تغییر داشته باشد که کاهش تابع انرژی احساس شود ...(ادامه دارد)
الگوریتم پس انتشار خطای بهبود پذیر (Rprop)
این الگوریتم، جهت اصلاح مشکل فوق ارائه شده است.
بر اساس این الگوریتم، تنها از علامت مشتق تابع تحریک، جهت اصلاح پارامترهای شبکه استفاده می شود. اندازه مشتق تابع تحریک، هیچ اثری بر تنظیم پارامترهای شبکه ندارد [6], [5].
میزان تغییرات در پارامترهای شبکه، توسط فاکتور delt-inc، افزوده می شود، زمانی که علامت مشتق شاخص اجرایی، نسبت به پارامترهای شبکه دردوتکرار متوالی، تغییر نکند. و زمانی که مشتق خاص اجرایی دردوتکرار متوالی هم علامت نباشند، تغییرات در پارامترهای شبکه توسط فاکتور delt-dec، کاهش می یابد ...(ادامه دارد)
نتیجه گیری
از قانون یادگیری پس انتشار خطا (BP) برای آموزش شبکه ها عصبی چند لایه پیش خور استفاده می شود. با وجود کاربردهای فراوان این الگوریتم یادگیری، هنوز مشکلاتی نیز وجود دارد:
سرعت همگرایی الگوریتم BP، پائین است و ممکن است شبکه به آسانی به نقاط مینیمم محلی همگرا شود. از طرفی، انتخاب نرخ یادگیری، تأثر بسزایی در سرعت همگرایی آموزش شبکه عصبی دارند.
در این گزارش، الگوریتم های جدیدی، جهت بهبود الگوریتم BP، ارائه شده است.
برخی از این روش ها بر مبنای نرخ یادگیری تطبیقی می باشند. بدین صورت که نرخ یادگیری به هنگام پروسه آموزش تغییر می کند تا عملکرد در الگوریتم BP استاندارد بهبود بخشیده شود، نرخ یادگیری تطبیقی سعی می کند که نرخ یادگیری را تا آنجایی که ممکن است و سیستم ناپایدار نشده است، افزایش دهد.
الگوریتم دیگری که جهت بهبود سرعت همگرایی الگوریتم BP، ارائه شده است، الگوریتم BP با سه ترم است. در این الگوریتم، ترم جدیدی به نام ضریب تناسبی (PE)، علاوه بر دوترم نرخ یادگیری و ضریب ممنتم ...(ادامه دارد)
فهرست مطالب مقاله بهبود سرعت یادگیری شبکه های عصبی
مقدمه
خلاصه ای از الگوریتم BP
فرمول بندی الگوریتم BP
بهبود الگوریتم استاندارد پس انتشار خطا (SBP)
آنالیز همگرایی
نتیجه گیری
مراجع
مرجع فارسی
دانلود مقاله بهبود سرعت یادگیری شبکه های عصبی
