پایان نامه بررسی ومطالعه ی کامل داده کاوی و داده کاوی با SQL SERVER2005 پیاده سازی آن روی بانک اطلاعات(همراه با عکس)

اختصاصی از فی ژوو پایان نامه بررسی ومطالعه ی کامل داده کاوی و داده کاوی با SQL SERVER2005 پیاده سازی آن روی بانک اطلاعات(همراه با عکس) دانلود با لینک مستقیم و پر سرعت .

فرمت فایل:word  (قابل ویرایش)

تعداد صفحات :236

فهرست مطالب :

چکیده
پیاده سازی آن روی بانک اطلاعاتی دانشگاه آزاد قوچان
مقدمه ای بر داده کاوی 
1-2-عامل مسبب پیدایش داده کاوی 
-3-داده کاوی و مفهوم اکتشاف دانش (K.D.D) 
- پاکسازی داده ها 
2-یکپارچه سازی داده ها 
3-انتخاب داده ها 
1-3-1-تعریف داده کاوی 
1-3-3- قابلیت های داده کاوی
1-3-4-چه نوع داده‌هایی مورد کاوش قرار می گیرند؟ 
• فایلهای ساده (FLAT FILES):
• پایگاههای داده ای رابطه ای(RDBMS): 
1-4- وظایف داده کاوی 
1-4-3-1-1- کشف تقسیمات 
1-4-3-1-2- دسته بندی با درخت تصمیم
1-4-3-1-4- نحوه‌ی هرس کردن درخت
1-4-3-1-3- انواع درخت‌های تصمیم
1-4-3-3-1 تئوری بیز 
1-4-3-3-2 -دسته بندی ساده بیزی
یک مثال در توضیح طبقه بندی ساده بیزی 
1-4-4- ارزیابی روش‌های کلاس‌بندی
-2-4-1پیش بینی 
1-4-3-انواع روش‌های پیش بینی 
1-4-3-1- رگرسیون
1-4-3-1 -1- رگرسیون خطی
1-4-3-1-2- رگرسیون منطقی
1-4-3- خوشه بندی
1-4-3-1- تعریف فرآیند خوشه‌بندی

1-4-3-2- کیفیت خوشه‌بندی
1-4-3-3- روش ها و الگوریتم‌های خوشه‌بندی
1-4-3-3-1- روش های سلسله‌مراتبی ‌
1-4-3-3-2- الگوریتم‌های تفکیک
1-4-3-3-3- روش‌های متکی برچگالی 
1-4-4- تخمین
1-4-3-3-5- روش‌‌های متکی بر مدل 
1-6-قوانین انجمنی
1-6-3- اصول استقرا در کاوش قوانین انجمنی
1-6-4- الگوریتم Apriori
1-7-3-1- جستجو و بازیابی
1-7-3-2- گروه بندی و طبقه بندی داده
1-7-3-3- خلاصه سازی
1-7-3-4- روابط میان مفاهیم
1-7-3-5- یافتن و تحلیل ترند ها
1-7-3-5- برچسب زدن نحوی (POS)
1-6-2-7- ایجاد تزاروس و آنتولوژی به صورت اتوماتیک 
1-8-تصویر کاوی 
1-2-مقدمه
2-2- اصول الگوریتم ژنتیک 
2-2-1-1-3- کدگذاری درختی 
2-2-2- ارزیابی2
2-2-3-انتخاب 
2-2-3-2- انتخاب رتبه ای 
2-2-4- عملگرهای تغییر
2-2-3-4-نخبه گزینی 
2-2-4-1-عملگر Crossover
2-2-4-3-احتمال Crossover و جهش
2-2-6-دیگر پارامترها
2-4-مزایای الگوریتم های ژنتیک
2-5- محدودیت های الگوریتم های ژنتیک
شبکه های عصبی 
فصل سوم
3-1-چرا از شبکه های عصبی استفاده می کنیم؟ 
3-3-نحوه عملکرد مغز 
3-4-مدل ریاضی نرون
3-5- آموزش شبکه‌های عصبی 
3-6-کاربرد های شبکه های عصبی
فصل چهارم
محاسبات نرم
4-2-2-مجموعه های فازی
4-2-3-نقش مجموعه¬های فازی در داده¬کاوی
4-2-3-1- خوشه بندی 
4-2-4- الگوریتم ژنتیک
4-2-5-نقش الگوریتم ژنتیک در داده کاوی
5-1- نحوه ی انتخاب ابزارداده کاوی 
5-3- چگونه می توان بهترین ابزار را انتخاب کرد؟ 
منابع وماخذ
مقدمه ای بر داده کاوی 
1-1-مقدمه 
امروزه با گسترش سیستم های پایگاهی و حجم بالای داده ها ی ذخیره شده در این سیستم ها ، نیاز به ابزاری است تا بتوان داده های ذخیره شده را پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد .با استفاده از ابزارهای گوناگون گزارش گیری معمولی ، می توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه گیری در مورد داده ها و روابط منطقی میان آنها بپردازند اما وقتی که حجم داده ها خیلی بالا باشد ، کاربران هر چند زبر دست و با تجربه باشند نمی توانند الگوهای مفید را در میان حجم انبوه داده ها تشخیص دهند و یا اگر قادر به این کار هم با شوند ، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است .از سوی دیگر کاربران معمولا فرضیه ای را مطرح می کنند و سپس بر اساس گزارشات مشاهده شده به اثبات یا رد فرضیه می پردازند ، در حالی که امروزه نیاز به روشهایی است که اصطلاحا به کشف دانش بپردازند یعنی با کمترین دخالت کاربر و به صورت خودکار الگوها و رابطه های منطقی را بیان نمایند .
داده کاوی یکی از مهمترین این روش ها است که به وسیله آن الگوهای مفید در داده ها با حداقل دخالت کاربران شناخته می شوند و اطلاعاتی را در اختیار کاربران و تحلیل گران قرار می دهند تا براساس آنها تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند .
1-2-عامل مسبب پیدایش داده کاوی 
اصلی ترین دلیلی که باعث شده داده کاوی کانون توجهات در صنعت اطلاعات قرار بگیرد، مساله در دسترس بودن حجم وسیعی از داده ها و نیاز شدید به اینکه از این داده ها, اطلاعات و دانش سودمند استخراج کنیم. اطلاعات و دانش بدست آمده در کاربردهای وسیعی مورد استفاده قرار می گیرد.
داده کاوی را می توان حاصل سیر تکاملی طبیعی تکنولوژی اطلاعات دانست، که این سیر تکاملی ناشی از یک سیر تکاملی در صنعت پایگاه داده می باشد، نظیر عملیات جمع آوری داده ها وایجاد پایگاه داده، مدیریت داده و تحلیل و فهم داده ها. 
تکامل تکنولوژی پایگاه داده و استفاده فراوان آن در کاربردهای مختلف سبب جمع آوری حجم فراوانی داده شده است. این داده های فراوان باعث ایجاد نیاز برای ابزارهای قدرتمند برای تحلیل داده ها گشته، زیرا در حال حاضر به لحاظ داده ثروتمند هستیم ولی دچار کمبود اطلاعات می باشیم. 
ابزارهای داده کاوی داده ها را آنالیز می کنند و الگوهای داده ها را کشف می کنند که می توان از آن در کاربردهایی نظیر تعیین استراتژی برای کسب و کار، پایگاه دانش و تحقیقات علمی و پزشکی، استفاده کرد. شکاف موجود بین داده ها و اطلاعات سبب ایجاد نیاز برای ابزارهای داده کاوی شده است تا داده های بی ارزش را به دانشی ارزشمند تبدیل کنیم . 
-3-داده کاوی و مفهوم اکتشاف دانش (K.D.D) 
با حجم عظیم داده های ذخیره شده در فایلها، بانکهای اطلاعاتی و سایر بانک های داده ای، توسعه ی ابزارهایی برای تحلیل و شاید تفسیر چنین داده هایی و برای استخراج علوم شگفت انگیزی که می توانند در تصمیم گیری مفید باشند، امری بسیار مهم و ضروری است. داده کاوی با عنوان کشف دانش در پایگاه های داده (KDD) شناخته می‌شود. کشف علومی که قبلا ناشناخته بوده‌اند و اطلاعاتی که در بانکهای اطلاعاتی موجود بوده و ذاتا بالقوه و مفید هستند.
با وجود آنکه داده کاوی و کشف دانش در پایگاه‌های داده مترادف همدیگر هستند، ولی در اصل، داده کاوی ذاتاً بخشی و تنها قسمتی جزئی از فرآیند کشف دانش است. فرآیند کشف دانش در بر گیرنده ی چندین مرحله می باشد که از اطلاعات خام، گونه هایی از علوم جدید را بدست می دهد. مراحل کشف دانش به قرار زیر است:
1- پاکسازی داده ها : در این فاز داده های اضافی و نامربوط از مجموعه داده ها حذف می شوند.(داده های ناکامل) [2]
2-یکپارچه سازی داده ها : چندین منبع داده ترکیب می شوند،
3-انتخاب داده ها : انبار داده ها شامل انواع مختلف و گوناگونی از داده ها است که همه آنها در داده کاوی مورد نیاز نیستند . برای فرایند داده کاوی باید داده ها ی مورد نیاز انتخاب شوند . به عنوان مثال در یک پایگاه داده های مربوط به سیستم فروشگاهی ، اطلاعاتی در مورد خرید مشتریان ، خصوصیات آماری آنها ، تامین کنندگان ، خرید ، حسابداری و ... وجود دارند . برای تعیین نحوه چیدن قفسه ها تنها به داده ها یی در مورد خرید مشتریان و خصوصیات آماری آنها نیاز است . حتی در مواردی نیاز به کاوش در تمام محتویات پایگاه نیست بلکه ممکن است به منظور کاهش هزینه عملیات ، نمونه هایی از عناصر انتخاب و کاوش شوند . 
4-تبدیل داده ها : هنگامی که داده های مورد نیاز انتخاب شدند و داده های مورد کاوش مشخص گردیدند، معمولا به تبدیلات خاصی روی داده ها نیاز است. نوع تبدیل به عملیات و تکنیک داده کاوی مورد استفاده بستگی دارد، تبدیلاتی ساده همچون تبدیل نوع داده ای به نوع دیگر تا تبدیلات پیچیده تر همچون تعریف صفات جدید با انجام عملیاتهای ریاضی و منطقی روی صفات موجود.
5-داده کاوی : بخش اصلی فرایند ، که در آن با استفاده از روش ها و تکنیک های خاص ، استخراج الگو های مفید ، دانش استخراج می شود. 
6-زیابی الگو : مشخص کردن الگوهای صحیح و مورد نظر به وسیله معیارهای اندازه گیری.
7-زنمایی دانش : در این بخش به منظور ارائه دانش استخراج شده به کاربر ، از یک سری ابزارهای بصری سازی استفاده می گردد.

1-3-1-تعریف داده کاوی 
در متون آکادمیک تعاریف گوناگونی برای داده کاوی ارائه شده اند . در برخی از این تعاریف داده کاوی در حد ابزاری که کاربران را قادر به ارتباط مستقیم با حجم عظیم داده ها می سازد معرفی گردیده است و در برخی دیگر ، تعاریف دقیقتر که درآنها به کاوش در داده ها توجه می شود. برخی از این تعاریف عبارتند از :
• داده کاوی عبارت است از فرایند استخراج اطلاعات معتبر ، از پیش ناشناخته قابل فهم و قابل اعتماد از پایگاه داده های بزرگ که شامل بهره گیری از بزارهای آنالیز داده ها، برای کشف الگوهای موجود و روابط ناشناخته‌ی میان داده ها در حجمی وسیع می باشد. و استفاده از آن درتصمیم گیری فعالیتهای تجاری مهم. 
• اصطلاح داده کاوی به فرایند نیم خودکار تجزیه و تحلیل پایگاه داده های بزرگ به منظور یافتن الگوهای مفید اطلاق می شود [3]. 
• داده کاوی یعنی جستجو در یک پایگاه داده ها برای یافتن الگوهایی میان داده ها [4].
• داده کاوی یعنی استخراج دانش کلان ، قابل استناد و جدید از پایگاه داده ها ی بزرگ .
• داده کاوی یعنی تجزیه و تحلیل مجموعه داده های قابل مشاهده برای یافتن روابط مطمئن بین داده ها .
همانگونه که در تعاریف گوناگون داده کاوی مشاهده می شود ، تقریبا در تمامی تعاریف به مفاهیمی چون استخراج دانش ، تحلیل و یافتن الگوی بین داده ها اشاره شده است .
1-3-3- قابلیت های داده کاوی
باید توجه داشته باشید که داده کاوی یک ابزار جادویی نیست که بتواند در پایگاه داده شما به دنبال الگوهای جالب بگردد و اگر به الگویی جدیدی برخورد کرد آن را به شما اعلام کند بله صرفا الگوها و روابط بین داده ها را به شما اعلام می کند بدون توجه به ارزش آنها. بنابراین الگوهایی که به این وسیله کشف می شوند باید با جهان واقع تطابق داشته باشند.[5] 
1-3-4-چه نوع داده‌هایی مورد کاوش قرار می گیرند؟ 
در اصل داده کاوی مختص یک رسانه یا داده‌ی خاص نیست و باید از قابلیت اجرا بر روی هر نوع داده ای برخوردار باشد، اگر چه الگوریتم‌ها و تلاشها ممکن است در مواجهه با گونه های مختلف داده، تفاوت داشته باشند. 
• فایلهای ساده (FLAT FILES):
رایج ترین منبع برای الگوریتم های داده‌کاوی هستند، خصوصا در مرحله ی تحقیق، فایل های ساده، فایل های ساده ی متنی یا با ساختار دودویی هستند و با ساختاری شناخته شده برای یک الگوریتم مشخص داده کاوی که روی آن پیاده می شود. داده های درون این نوع فایل ها می توانند تراکنش ها، داده های سریالی، اندازه گیری های‌ عملی و ... باشند.
• پایگاههای داده ای رابطه ای(RDBMS): 
مختصرا، یک پایگاه داده ی رابطه ای متشکل از مجموعه‌ای از جداول است که در بر گیرنده‌ی مقادیری برای صفات موجودیت ها و یا مقادیری از روابط بین موجودیت ها می‌باشد. هر جدول دارای چندین سطر و ستون می‌باشد که ستونها ارائه کننده‌ی صفات خاصه و سطرها ارائه کننده‌ی رکوردهای اطلاعاتی می‌باشند. یک رکورد اطلاعاتی در بر گیرنده‌ی صفات خاصه‌ی یک شئ یا روایط بین اشیا است که با یک کلید غیر تکراری تعریف می‌شود. الگوریتم های داده‌کاوی برای پایگاه‌های داده‌ای رابطه‌ای بسیار فراگیرتر و سریعتر از الگوریتم های داده‌کاوی روی فایل‌های ساده هستند.
• انبارهای داده ای 
وجود اطلاعات صحیح و منسجم یکی از ملزوماتی است که در داده کاوی به آن نیازمندیم. اشتباه و عدم وجود اطلاعات صحیح باعث نتیجه گیری غلط و در نتیجه اخذ تصمیمات ناصحیح در سازمانها می گردد و منتج به نتایج خطرناکی خواهد گردید که نمونه های آن کم نیستند .
اکثر سازمانها دچار یک شکاف اطلاعاتی هستند. در اینگونه سازمان ها معمولا سیستم های اطلاعاتی در طول زمان و با معماری و مدیریت های گوناگون ساخته شده اند ، به طوری که درسازمان، اطلاعاتی یکپارچه و مشخصی مشاهده نمی گردد . علاوه بر این برای فرایند داده کاوی به اطلاعات خلاصه و مهم در زمینه تصمیم گیری های حیاتی نیازمندیم .
هدف از فرایند انبارش داده ها فراهم کردن یک محیط یکپارچه جهت پردازش اطلاعات است . در این فرایند ، اطلاعات تحلیلی و موجز در دوره های مناسب زمانی سازماندهی و ذخیره می شود تا بتوان از آنها در فرایند های تصمیم گیری که از ملزومات آن داده کاوی است ، استفاده شود . به طور کلی تعریف زیر برای انبار داده ها ارائه می گردد : انبار داده ها ، مجموعه ای است موضوعی ، مجتمع ، متغیر در زمان و پایدار از داده ها که به منظور پشتیبانی از فرایند مدیریت تصمیم گیری مورد استفاده قرار می گیرد. 
1-4- وظایف داده کاوی 
وظایف داده کاوی معمولا بشرح زیر است: 
• کلاس بندی 
• پیش بینی 
• خوشه سازی 
• تخمین 
1-1-4-کلاس بندی
هدف کلاس‌بندی داده‌ها، سازماندهی و تخصیص داده‌ها به کلاس‌های مجزا می‌باشد. در این فرآیند بر اساس داده‌های توزیع شده، مدل اولیه‌ای ایجاد می‌گردد. سپس این مدل برای طبقه‌بندی داده‌های جدید مورد استفاده قرار می‌گیرد، به این ترتیب با بکارگیری مدل بدست آمده، تعلق داده‌های جدید به کلاس معین قابل تعیین می‌باشد. کلاس‌بندی در مورد مقادیر گسسته و پیشگویی به‌کار می‌رود. [6] 
در فرآیند کلاس‌بندی، اشیا موجود به کلاس‌های مجزا با مشخصه‌هایی تفکیک‌شده (ظروف جداگانه) طبقه‌بندی و به صورت یک مدل معرفی می‌گردند. سپس با در نظر گرفتن ویژگی‌های هر طبقه، شی‌ جدید به آنها تخصیص یافته، برچسب و نوع آن قابل تعیین می گردد. 
در کلاس‌بندی، مدل ایجاد شده بر پایه‌ی یک‌سری داده‌های آموزشی، (اشیا داده‌هایی که بر چسب کلاس آنها مشخص و شناخته شده است) حاصل می آید. مدل بدست آمده در اشکال گوناگون مانند قوانین کلاس‌بندی (If-Then)، درخت‌های تصمیم، فرمول‌های ریاضی و شبکه‌های عصبی قابل نمایش می‌باشد. 
به عنوان مثال فرض کنید مدیر فروشگاهی در نظر دارد مجموعه‌ی بزرگی از داده‌ها را بر اساس میزان فروش به زیاد، متوسط و کم طبقه‌بندی کند. وی می‌بایست مدلی ایجاد کند که بر اساس خصیصه‌های کالا مانند قیمت، مارک، محل ساخت و نوع کالا، کلاس مربوط به آن نوع کالا را تعیین نماید. طبقه‌بندی نهایی می‌بایست به طور ماکزیمال هر کلاسی را از دیگری تشخیص داده،و تصویر سازماندهی شده‌ای از داده‌ها را به نمایش در آورد. [7] 
از کاربردهای کلاس‌بندی می توان بازاریابی، تشخیص بیماری، تحلیل اثرات معالجه، تشخیص خرابی در صنعت و تعیین اعتبار را نام برد. [6] 
1-4-2- مراحل یک الگوریتم کلاس‌بندی 
الگوی عمومی‌ برای الگوریتم‌های آموزش از طریق مثال با فرایند کلاس‌بندی به سه مرحله تقسیم می‌‌شوند:[2]
• پیش‌پردازش داده‌ها 
• ساخت و ارزیابی قوانین کلاس‌بندی و هرس کردن قوانین اضافی که هدف ما می‌باشد.
• کلاس‌بندی نمونه‌های جدید
1-4-3- انواع روش‌های کلاس‌بندی 
کلاس‌بندی به روش‌های زیر انجام‌پذیر است: 
• طبقه‌بندی بیز
• درخت تصمیم 
• K-Nearest Neibour 
• الگوریتم‌های ژنتیک 
• شبکه‌های عصبی
1-4-3-1- درخت تصمیم
درخت تصمیم عبارت است از یک مجموعه قوانین برای تقسیم کردن یک مجموعه ی ناهمگن بزرگ به مجموعه کوچکتر و گروه های همگن تر نسبت به متغیر هدف (فیلد موردنظر). درخت¬های تصمیم روشی برای نمایش یک سری از قوانین هستند که منتهی به یک رده یا مقدار یا یک طبقه می¬شوند. برای مثال، می-خواهیم متقاضیان وام را به دارندگان ریسک اعتبار خوب و بد تقسیم کنیم. شکل یک درخت تصمیم را که این مسئله را حل می-کد نشان می¬دهد و همه مؤلفه¬های اساسی یک یک درخت تصمیم در آن نشان داده شده است : نود تصمیم، شاخه¬ها و برگ¬ها درخت تصمیم برای موارد زیر به کار برده می شود. [9] 
شکل1-2: نمونه یک درخت تصمیم 
1-احتمال اینکه یک داده معلوم و معین متعلق به کدام دسته، را محاسبه می کند.
2-با اختصاص دادن آنها به دسته ای که احتمالش بیشتر است، رکوردها را دسته بندی می کند. 
درخت تصمیم، براساس الگوریتم، ممکن است دو یا تعداد بیشتری شاخه داشته باشد. برای مثال، CART درختانی فقط با دو شاخه در هر نود ایجاد می¬کند. هر شاخه منجر به نود تصمیم دیگر یا یک نود برگ می¬شود. با پیمایش یک درخت تصمیم از ریشه به پایین به یک نمونه یک طبقه یا مقدار نسبت می-دهیم. هر نود از ویژگی های یک نمونه برای تصمیم¬گیری درباره آن انشعاب استفاده می¬کند.
درخت¬های تصمیمی که برای پیش¬بینی متغیرهای دسته¬ای استفاده می¬شوند، درخت¬های classification نامیده می¬شوند زیرا نمونه¬ها را در دسته¬ها یارده¬ها یا کلاس ها قرار می¬دهند. درخت¬های تصمیمی که برای پیش¬بینی متغیرهای پیوسته استفاده می¬شوند درخت¬های regression نامیده می¬شوند. 
1-4-3-1-1- کشف تقسیمات 
هدف از ساختن درخت این است که دستهای را برای یک رکورد برمبنای فیلد هدف تعیین کنیم. درخت بوسیله ی تقسیمات رکوردها بر اساس فیلد ورودی ایجاد می شود. در هر نود تقسیمات (انشعاب) رکوردها بر اساس فیلد ورودی انجام می شود. 
اولین کار برای این منظور این است که تعیین کنیم که کدام فیلد ورودی تقسیم بهتری را می سازد. بهترین تقسیم در نتیجه ی یک جداسازی خوب رکوردها به گروه هایی که در این جا یک دسته این گروه ها را در بر می گیرد, کشف می شود.
یک معیار در ارزیابی تقسیم ، خلوص است. یک متد با خلوص بالا، به این معنی است که اعضای آن دسته عالی و ممتازاند
-4-3-1-2- دسته بندی با درخت تصمیم
هر کس که به بازی بیست سؤالی آشنا باشد براحتی متوجه می شود که درخت تصمیم چگونه رکوردها را دسته بندی می کند. در بازی بیست سؤالی شرکت کننده اول به یک چیز خاص فکر می کند و شرکت کننده دوم باید آن را تشخیص دهد . شرکت کننده اول هیچ راهنمایی را برای تشخیص آن چیز خاص ارائه نمی دهد و شرکت کننده دوم بوسیله یک سری سؤال های بله، خیر سعی می کند که آن چیز را کشف کند.
درخت تصمیم این طوری یک سری از سؤال ها را جواب می دهد . اگر سوال ها مناسب انتخاب شوند یک مجموعه ی کوچک از سؤال ها کافی است تا رکوردها را به دسته های مورد نظر وارد کنیم بازی بیست سؤالی فرایند استفاده از درخت برای افزودن یک رکورد به دسته مربوطه را روشن می کند. هنگامی که یک رکورد وارد ریشه درخت می شود گره ریشه از یک تست استفاده می کند برای این که تعیین کند که کدام فرزندان با آن برخورد کند همه ی گره های میانی به همین طریق عمل می کنند. 
برگ‌ها برچسب کلاس را مشخص می کنند. یک مسیر منحصر به فرد از ریشه به برگ وجود دارد. این مسیر، قانونی را که برای دسته بندی رکورد استفاده کرده است را بیان می کند.
یک درخت تصمیم یک ساختار سلسله مراتبی می‌باشدکه در آن، گره‌های میانی برای تست یک خصیصه به کار می روند. شاخه‌ها نشانگر خروجی تست بوده، برگ‌ها برچسب کلاس و یا همان طبقه را مشخص می‌نمایند. نکات اساسی برای هر درخت تصمیم به شرح زیر هستند: [10]
• ملاک استفاده شده برای ساخت درخت چه عواملی هستند؟ یعنی کدام متغیر باید برای شکستن انتخاب گردد و این متغیر چگونه باید شکسته شود؟

پایان نامه کاربرد داده کاوی در تجارت الکترونیک

اختصاصی از فی ژوو پایان نامه کاربرد داده کاوی در تجارت الکترونیک دانلود با لینک مستقیم و پر سرعت .

فهرست

چکیده................................................................................................................................8            

تکنیکهای داده کاوی و متدلوژیهای ان

مقدمه 9

عناصر داده کاوی 15

پردازش تحلیلی پیوسته: 16

قوانین وابستگی: 17

شبکه های عصبی : 17

الگوریتم ژنتیکی: 17

نرم افزار 18

کاربردهای داده کاوی 18

داده کاوی و کاربرد آن در کسب و کار هوشمند بانک 19

داده کاوی درمدیریت ارتباط بامشتری 21

کاربردهای داده کاوی در کتابخانه ها و محیط های دانشگاهی 22

مدیریت موسسات دانشگاهی 23

داده کاوی آماری و مدیریت بهینه وب سایت ها 25

داده کاوی در مقابل پایگاه داده   Data Mining vs database 26

ابزارهای تجاری داده کاوی 27

منابع اطلاعاتی مورد استفاده 28

انبار داده 29

مسائل کسب و کار برای داده‌کاوی 31

چرخه تعالی داده کاوی چیست؟ 31

متدلوژی داده‌کاوی و بهترین تمرین‌های آن 35

یادگیری چیزهایی که درست نیستند 36

الگوهایی که ممکن است هیچ قانون اصولی را ارائه نکنند 36

چیدمان مدل ممکن است بازتاب دهنده جمعیت وابسته نباشد 38

ممکن است داده در سطح اشتباهی از جزئیات باشد 38

یادگیری چیزهایی که درست ولی بلااستفاده‌اند 40

مدل‌ها، پروفایل‌سازی، و پیش‌بینی 42

پیش بینی 44

متدلوژی 45

مرحله 1: تبدیل مسئله کسب و کار به مسئله داده‌کاوی 46

مرحله 2: انتخاب داده مناسب 48

مرحله سوم: پیش به سوی شناخت داده 51

مرحله چهارم: ساختن یک مجموعه مدل 52

مرحله پنجم: تثبیت مسئله با داده‌ها 54

مرحله ششم: تبدیل داده برای آوردن اطلاعات به سطح 56

مرحله هفتم: ساختن مدلها 59

مرحله هشتم: ارزیابی مدل ها 59

مرحله نهم: استقرار مدل ها 63

مرحله 10: ارزیابی نتایج 64

مرحله یازدهم: شروع دوباره 64

وظایف داده‌کاوی‌ 65

1- دسته‌بندی 65

2- خوشه‌بندی 65

3- تخمین 66

4- وابستگی 68

5- رگرسیون 69

6- پیشگویی 70

7- تحلیل توالی 70

8- تحلیل انحراف 71

9- نمایه‌سازی 72

تجارت الکترونیک

فصل اول: مقدمه ای بر تجارت الکترونیکی 73

1- طبقه‌های مختلف تجارت الکترونیکی 75

2- تفاوت تجارت الکترونیکی با تجارت سنتی 76

3- نقش دولت در تجارت الکترونیک 78

فصل دوم : شکل دهی موقعیت بازار 80

1- چار چوبی برای تحلیل موقعیت بازار 80

1-1- پرورش موقعیت : 80

1-2-کشف هسته اصلی موقعیت : 81

1-3- شناسایی مشتریان هدف : 81

1-4- مطالعه توانمندیها و منابع شرکت : 81

1-5- اندازه گیری جذابیت موقیت : 82

2 ) ویژگی های تحلیل موقعیت بازار در اقتصاد جدید: 82

3_ دو نوع ارزش ( value type ) عمده 84

3_2_ ارزش های جدید ( New-To-The-World value ) : 86

4 – شناسایی نیاز های برآورده شده و برآورده نشده 88

4-1_ فرآیند تصمیم گیری مشتری 88

4-2_ آشکارسازی نیازهای برآورده شده و برآورده نشده 89

5- تعیین مشتریان ویژهای که شرکت قصد متقاعد کردن آنهارا دارد. 91

5-1- روشهایی برای تقسم بندی بازار: 91

5-2- تقسیم بندی قابل اجرا و معنی دار 92

_ تقسیم بندی قابل اجرا(Actionable Segmentation) 93

_ تقسیم بندی معنی دار 93

5-3-ترکیب مناسبی از متغیر ها 93

5-4-تناظر بازار و مشتریان هدف 96

۶- تأمین منابع 97

6-1- منابع شرکت : 97

6-2- شرکاﺀ : 98

٧- جذابیت یک موقعیت : 99

7-1- شدت رقابت 99

رقبای نزدیک (Adjacent competitors) : 100

بررسی رقبا : (competitor Map) 100

7-2- پویایی های مربوط با مشتریان : 101

7-3- فناوری : 101

7-4- سود دهی مالی : 103

8-ارزیابی نهایی(go/No-go) 104

مدلهای کسب و کار 105

آیا شرکت قادر است در مورد ارزش یا ارزشهای ارائه شده با دیگران رقابت کند؟ 105

چگونه یک شرکت یک سرویس آنلاین را توسعه می دهد؟ 107

یک سیستم منابع مناسب و موفق چگونه است؟ 109

معیارهایی برای ارزیابی کیفیت یک سیستم منبع: 112

مشارکت (Partnership): 113

مدلهای سوددهی برای شرکتهای آنلاین چه هستند؟ 114

2-1- مدلهای مبتنی بر کاربر و شرکت: 115

مدلهای مبتنی بر خلق ارزش توسط شرکت: 117

واسط مشتری 121

1- هفت عنصر طراحی برای واسط مشتری 121

2- چه چیز تعیین کننده جلوه یک وب سایت است؟ 125

3- محتویات وب سایت 129

4- تشکل ها در سایت 132

5- اهرمهای مورد استفاده برای سفارشی کردن یک سایت 136

6- یک سایت چگونه با مشتریان خود ارتباط بر قرار می کند؟ 139

7- اتصال یک وب سایت با وب سایتهای دیگر 142

8- اشکال مختلف تجارت در وب سایت 144

تبادل الکترونیکی داده ها (EDI) 147

1- انواع خرید یک شرکت 147

2- خرید مواد مستقیم 147

3- تبادل الکترونیکی داده ها (EDI) 148

EDI های نسل آینده 150

منابع.......................................................................................................... 151

 چکیده:

این پایان نامه شامل دو بخش می باشدبخش اول در مورد داده کاوی و تکنیکها ومتدلوژی های ان و بخش دوم در مورد تجارت الکترونیک می باشد.

بخش اول شامل مطالبی در مورد عناصر داده کاوی و سپس کاربردهای داده کاوی در موارد مختلف و تفاوت داده کاوی با پایگاه داده و متدلوژی ها و مراحل داده کاوی وهمچنین وظایف داده کاوی توضیحاتی داده شده است.

بخش دوم در مورد تجارت الکترونیکی که در ان مقدمه ای از تجارت اتکترونیک و شکل دهی موقعیت بازار را بیان نموده است.

مقدمه

از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات(IT) هر دو سال یکبار حجم داده ها، دو برابر شده و همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد، بسیاری از پایگاه  داده ها چنان گسترش یافته‌اند که شامل چندصد میلیون یا چندصد میلیارد رکورد ثبت شده هستند.امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه های موجود است.[3]

حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث به وجود آمدن حانبارهای عظیمی از داده ها شده است.

این واقعیت، ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است، چنان که در عصر حاضر گفته می شود اطلاعات طلاست.

هم اکنون در هر کشور، سازمان، شرکت و غیره برای امور بازرگانی، پرسنلی، آموزشی، آماری و غیره پایگاه داده ها ایجاد یا خریداری شده است. به طوری که این پایگاه داده ها برای مدیران، برنامه ریزان، پژوهشگران جهت، تصمیم گیری های راهبردی، تهیه گزارش های مختلف، توصیف وضعیت جاری خود و سایر اهداف می تواند مفید باشد. بسیاری از این داده ها از نرم افزارهای تجاری، مثل کاربردهای مالی، ERPها، CRMها و web log ها، می آیند. نتیجه این جمع آوری داده ها این می‌شود که در سازمانها، داده ها غنی ولی دانش ضعیف، است. جمع آوری داده ها، بسیار انبوه می‌شود و بسرعت اندازه آن افزایش می یابد و استفاده عملی از داده ها را محدود می سازد.[2]

داده‌کاوی استخراج و تحلیل مقدار زیادی داده بمنظور کشف قوانین و الگوهای معنی دار در آنهاست. هدف اصلی داده کاوی، استخراج الگوهایی از داده ها، افزایش ارزش اصلی آنها و انتقال داده ها بصورت دانش است.

داده‌کاوی، بهمراه OLAP، گزارشگری تشکیلات اقتصادی(Enterprise reporting) و ETL، یک عضو کلیدی در خانواده محصول Business Intelligence(BI)، است.[2Error! Reference source not found.]

حوزه‌های مختلفی وجود دارد که در آنها حجم بسیاری از داده در پایگاه‌داده‌های متمرکز یا توزیع شده ذخیره می‌شود. برخی از آنها به قرار زیر هستند: [6Error! Reference source not found.]

• کتابخانه دیجیتال: یک مجموعه سازماندهی شده از اطلاعات دیجیتال که بصورت متن در پایگاه‌داده‌های بزرگی ذخیره می شوند.
• آرشیو تصویر: شامل پایگاه‌داده بزرگی از تصاویر به شکل خام یا فشرده.

پایان نامه (به زبان انگلیسی) با عنوان داده کاوی و مدیریت ارتباط با مشتری در بیش از70 صفحه پی دی اف

اختصاصی از فی ژوو پایان نامه (به زبان انگلیسی) با عنوان داده کاوی و مدیریت ارتباط با مشتری در بیش از70 صفحه پی دی اف دانلود با لینک مستقیم و پر سرعت .

دانلود پایان نامه در مورد وب کاوی در صنعت (قابل ویرایش / فایل Word)

اختصاصی از فی ژوو دانلود پایان نامه در مورد وب کاوی در صنعت (قابل ویرایش / فایل Word) دانلود با لینک مستقیم و پر سرعت .

با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به داده‌ها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویس‌های وب می پردازد. در واقع وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند. طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود. همچنین هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند.

فهرست :

مقدمه

فصل دوم: داده کاوی

مقدمه ای بر داده کاوی

چه چیزی سبب پیدایش داده کاوی شده است؟

مراحل کشف دانش

جایگاه داده کاوی در میان علوم مختلف

داده کاوی چه کارهایی نمی تواند انجام دهد؟

داده کاوی و انبار داده ها

داده کاوی و OLAP

کاربرد یادگیری ماشین و آمار در داده کاوی

توصیف داده ها در داده کاوی

خلاصه سازی و به تصویر در آوردن داده ها

خوشه بندی

تحلیل لینک

مدل های پیش بینی داده ها

دسته بندی

رگرسیون

سری های زمانی

مدل ها و الگوریتم های داده کاوی

شبکه های عصبی

درخت تصمیم

Multivariate Adaptive Regression Splines(MARS)

Rule induction

Knearest neibour and memorybased reansoning(MBR)

رگرسیون منطقی

تحلیل تفکیکی

مدل افزودنی کلی (GAM)

Boosting

سلسله مراتب انتخابها

داده کاوی و مدیریت بهینه وب سایت ها

داده‌کاوی و مدیریت دانش

فصل سوم: وب کاوی

تعریف وب کاوی

مراحل وب کاوی

وب کاوی و زمینه های تحقیقاتی مرتبط

وب کاوی و داده کاوی

وب کاوی و بازیابی اطلاعات

وب کاوی و استخراج اطلاعات

وب کاوی و یادگیری ماشین

انواع وب کاوی

چالش های وب کاوی

مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان

محتوا کاوی وب

فصل چهارم: وب کاوی در صنعت

انواع وب کاوی در صنعت

وب کاوی در صنعت نفت، گاز و پتروشیمی

مهندسی مخازن/ اکتشاف

مهندسی بهره برداری

مهندسی حفاری

بخشهای مدیریتی

کاربرد های دانش داده کاوی در صنعت بیمه

کاربردهای دانش داده کاوی در مدیریت شهری

کاربردهای داده کاوی در صنعت بانکداری

بخش بندی مشتریان

پژوهش های کاربردی

نتیجه گیری

منابع و ماخذ فارسی

مراجع و ماخذ لاتین و سایتهای اینترنتی

فرصتها و چالشهای داده کاوی در شهر الکترونیکی21 صفحه

اختصاصی از فی ژوو فرصتها و چالشهای داده کاوی در شهر الکترونیکی21 صفحه دانلود با لینک مستقیم و پر سرعت .

چکیده

فناوری اطلاعات و ارتباطات خصوصا اینترنت، به­صورت فعال حکومت­ها را در قرن بیست و یکم به­شدت تغییر­داده­است. داده­کاوی یکی از دستاورد­های فناوری اطلاعات و ارتباطات برای بهبود تحلیل­ها و تصمیمات سازمانی و استراتژی­های مدیریتی می­باشد. ادبیات بسیار وسیعی روی داده­کاوی و تکنولوژی­های بکارگیری موثر آن وجود­دارد. در سال­های اخیر، شهر الکترونیک توجه بسیاری از محققان را به­خود جلب­کرده­است. در واقع شهر الکترونیک از استفاده موثر دولت از تکنولوژی­های پیشرفته اطلاعات و ارتباطات و از طریق کانل­های اطلاعاتی مختلف همچون تلفن، اینترنت و ایستگاه­های عمومی کامپیوتری، ناشی می­شود. هر روزه حجم عظیمی از داده­های دسترسی کاربران در سیستم­های شهر الکترونیک تولید می­شوند. کاوش این داده­ها در تجزیه و تحلیل­های دولت، پیشگویی­ها، استراتژی­ها، کنترل و برنامه­ریزی­های عملیاتی و تاکتیکی تاثیر­گذار هستند. داده­کاوی در شهر الکترونیک نقش مهمی در تنظیم اهداف دولتی، کشف رفتار شهروندان و تخمین زمینه­های فعالیت آینده آنها دارد. البته در نقش این داده­ها در موفقیت حکومت نباید گزافه­گویی کرد. زیرا اتوماتیزه­کردن عوامل داده­کاوی در خدمات شهر الکترونیک، هنوز نیازمند حل­کردن بعضی مشکلات است. در اینجا برای فهم بهتر از اهمیت و جایگاه داده­کاوی در شهر الکترونیک، مطالعه­ای شامل کاربرد­های داده­کاوی و چالش­های پیاده­سازی موفق آن در شهر الکترونیک، توسعه­داده­شده­است. این مطالعه می­تواند منافعی را در اختیار سهام­داران مختلف و صاحبان اختیار که نیاز به دستگیری دانش مخفی و ضمنی از شهروندان، سازمان­ها و یا کسب و کار­ها دارند، قرار دهد.