تحقیق در مورد داده کاوی

اختصاصی از فی ژوو تحقیق در مورد داده کاوی دانلود با لینک مستقیم و پر سرعت .

لینک پرداخت و دانلود *پایین مطلب*

فرمت فایل:Word (قابل ویرایش و آماده پرینت)

 تعداد صفحه31

بخشی از فهرست مطالب

1 مقدمه ای بر داده‌کاوی... 3

1-1 چه چیزی سبب پیدایش داده کاوی شده است؟. 4

1-2 مراحل کشف دانش.... 6

1-3 جایگاه داده کاوی در میان علوم مختلف... 11

1-4 داده کاوی چه کارهایی نمی تواند انجام دهد؟. 12

1-5 داده کاوی و انبار داده  ها  13

1-6 داده کاوی و OLAP. 14

1-7 کاربرد یادگیری ماشین و آمار در داده کاوی... 15

2- توصیف داده ها در داده کاوی... 15

2-1 خلاصه سازی و به تصویر در آوردن داده ها 15

2-2 خوشه بندی 16

2-3 تحلیل لینک... 16

3- مدل های پیش بینی داده ها 17

3-1 Classification. 17

3-2 Regression. 17

3-3 Time series. 18

4 مدل ها و الگوریتم های داده کاوی... 18

4-1 شبکه های عصبی 18

4-2 Decision trees. 22

4-3 Multivariate Adaptive Regression Splines(MARS). 24

4-4 Rule induction. 25

4-5 K-nearest neibour and memory-based reansoning(MBR). 26

4-6 رگرسیون منطقی... 27

4-7 تحلیل تفکیکی 27

4-8 مدل افزودنی کلی (GAM). 28

4-9 Boosting. 28

5 سلسله مراتب انتخابها 29

1 مقدمه ای بر داده‌کاوی[1]

در دو دهه قبل توانایی های فنی بشر در برای تولید و جمع آوری داده‌ها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب و کار، علوم، خدمات دولتی و پیشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره ای، در این تغییرات نقش مهمی دارند [‎1].

بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در داده‌های ذخیره شده، نیاز مبرم وجود تکنولوژی های جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند: داده کاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی داده کاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی می کنند، که این دانش به صورت ضمنی در پایگاه داده های عظیم، انباره داده[2] و دیگر مخازن بزرگ اطلاعات، ذخیره شده است. داده کاوی بطور همزمان از چندین رشته علمی بهره می برد نظیر: تکنولوژی پایگاه داده، هوش مصنوعی، یادگیری ماشین، شبکه های عصبی، آمار، شناسایی الگو، سیستم های مبتنی بر دانش[3]، حصول دانش[4]، بازیابی اطلاعات[5]، محاسبات سرعت بالا[6] و بازنمایی بصری داده[7] . داده کاوی در اواخر دهه 1980 پدیدار گشته، در دهه 1990 گامهای بلندی در این شاخه از علم برداشته شده و انتظار می رود در این قرن به رشد و پیشرفت خود ادامه دهد [‎2].

واژه های «داده کاوی» و «کشف دانش در پایگاه داده»[8] اغلب به صورت مترادف یکدیگر مورد استفاده قرار می گیرند. کشف دانش به عنوان یک فرآیند در شکل1-1 نشان داده شده است.

 کشف دانش در پایگاه داده فرایند شناسایی درست، ساده، مفید، و نهایتا الگوها و مدلهای قابل فهم در داده ها می باشد. داده کاوی، مرحله ای از فرایند کشف دانش می باشد و شامل الگوریتمهای مخصوص داده کاوی است، بطوریکه، تحت محدودیتهای مؤثر محاسباتی قابل قبول، الگوها و یا مدلها را در داده کشف می کند [‎1]. به بیان ساده تر، داده کاوی به فرایند استخراج دانش ناشناخته، درست، و بالقوه مفید از داده اطلاق می شود. تعریف دیگر اینست که، داده کاوی گونه ای از تکنیکها برای شناسایی اطلاعات و یا دانش تصمیم گیری از قطعات داده می باشد، به نحوی که با استخراج آنها، در حوزه های تصمیم گیری، پیش بینی، پیشگویی، و تخمین مورد استفاده قرار گیرند. داده ها اغلب حجیم ، اما بدون ارزش می باشند، داده به تنهایی قابل استفاده نیست، بلکه دانش نهفته در داده ها قابل استفاده می باشد. به این دلیل اغلب به داده کاوی، تحلیل داده ای ثانویه[9] گفته می شود.

مسایل الکترودینامیک

اختصاصی از فی ژوو مسایل الکترودینامیک دانلود با لینک مستقیم و پر سرعت .

این فایل که در آن سعی شده است تا برخی از مسایل فصل دوم کتاب الکترودینامیک جکسون حل شود به صورت دست نویس با فرمت تصویر است. جواب ها به گونه ای به رشته تحریر در آمده اند که برای دانشجویان ارشد گروه فیزیک قابل درک باشند.

مقاله در مورد داده کاوی

اختصاصی از فی ژوو مقاله در مورد داده کاوی دانلود با لینک مستقیم و پر سرعت .

لینک پرداخت و دانلود *پایین مطلب*

فرمت فایل:Word (قابل ویرایش و آماده پرینت)

تعداد صفحه32

فهرست مطالب

داده کاوی اصول وروش کار:

دسته بندی وگروه بندی

استخراج قواعد:

مقدمه داده کاری:

داده کاوی

مقدمه:

جهان پیرامون ما سرشار از داده ها و اطلاعات گوناگون می‌باشد. برای پیش بینی گرایشات و جریان های آتی و به منظور اتخاذ تصمیم گیری بهتر در زمینه علوم، تکنولوژی ، صنعت، بازار وغیره.

انسان همواره با اشتیاقی حریصانه به دنبال کشف دانش از این موداب داده ها بوده است. قدیمی ترین دست نوشت ها کشف شده بر روی لوح های گلی مربوط به چهار قرن قبل از میلاد مسیح می‌باشد. با ساخت کاغذ داده های فراوانی بر روی هزاران جلد کتاب وسایر مستندات دیگر وغیره شد.

توامروزه نیز با افزایش روز افزون کاربرد کامپیوتر ها حجم عظیمی از داده ها دیسک های سخت را به صورت اطلاعات دیجیتالی پر کرده اند. با دراختیار داشتن حجم عظیم داده ها مساله اصلی چگونگی یا فتن جمع‌آوری و به کارگیری روش هایی است که بتوان آنها را در کشف دانش از داده ها  و به کارگیری دانش کشف شده در موارد مختلف به کار گرفت.

اگر چه در دهه های اخیر زمینه جدید با عنوان داده کاوی به رواج یافته است ولی عملکردها و وظایف این علم مثل دسته بندی و جداسازی، از سالها پیش وجودداشته و به کار گرفته می شده اند. با توجه به اینکه هدف داده کاوی کشف الگوهای ناشناخته از داده ها می‌باشد روش های این علم از آموزش ماشین،هوش مصنوعی، آمار وغیره مشتق شده اند. با گسترش این علم روش های داده کاوی در زمینه هایی خارج از علوم کامپیوتر وهوش مصنوعی همچون دنیای تجارت وخطوط مونتا کارخانه ها نیز به کار گرفته شد.

بدین ترتیب قابلیت های داده کاوی در زمینه هایی چون افزایش رقابت در بازار تجاری تشخیص کلاه برداری، تشخیص بیماریها با توجه به مدارک پزشکی وغیره نیز مورد آزمایش قرار گرفت و به اثبات رسید.

معمولا در یک سیستم داده کاوی قابلیت هایی به منظور جمع آوری ذخیره سازی دسترسی پردازش و نهایتا توصیف ونمایش مجموعه های داده ای در نظر گرفته شود. جنبه های مختلف داده کاوی را میتوان به صورت مجزا مورد بررسی قراردارد. اگر چه جمع آوری وذخیره سازی اطلاعات در داده کاوی فوقالعاده با اهمیت می باشند ولی گاها این دو مورد را جز وظایف داده کاوی به شمار نمی آورد. در این میان افزونگی وگاها نامربوط بودن اطلاعات موجود در مجموعه های داده ها کاوی فوق العاده با اهمیت می باشند ولی گاها این دو مورد جزء وظایف داده کاوی به شمار نمی آورد. در

هوشمندی کسب و کار

اختصاصی از فی ژوو هوشمندی کسب و کار دانلود با لینک مستقیم و پر سرعت .

این پروژه دارای  فهرست مطالب, فهرست اشکال, چکیده, مقدمه و منابع  بوده و  در فرمت  word  می باشد ...

پـــایــان نــامه روش های خوشه بندی جریان داده

اختصاصی از فی ژوو پـــایــان نــامه روش های خوشه بندی جریان داده دانلود با لینک مستقیم و پر سرعت .

چکیده

 حجم بزرگ داده ها به تنهایی به مدیران سازمان ها در تصمیم سازی و تصمیم گیری هیچ کمکی نمی کند، بلکه باعث سردرگمی مدیران سازمان ها نیز می شود.بنابراین مدیریت داده های خام و تبدیل داده های خارجی و داخلی سازمان به اطلاعات و دانش با استفاده از تکنیک های گوناگون،نقش اساسی و محوری دارد.از تکنیک های معروف در این زمینه داده کاوی است،که می تواند بر روی بانک اطلاعاتی انجام شود و دانش مورد نیاز را بدست آورد.در فصل اول به بررسی این مفهوم پرداختیم. کاوش خوشه ها نیز یکی از تکنیک های حائز اهمیت در زمینه رو به رشد،معروف به داده کاوی اکتشافی می باشد که در رشته های گوناگون مهندسی و علمی از قبیل زیست شناسی،روان شناسی،پزشکی،بازاریابی،کامپیوتر و نقشه برداری ماهواره ای به کار گرفته شده است. این مفهوم در فصل های سوم و چهارم دنبال شده است.در فصل سوم به یکی از الگوریتم های خوشه بندی به نام CStree پرداخته شده و نقاط ضعف این الگوریتم نیز مطرح شده است .تحلیل خوشه ها،اطلاعات را بوسیله یک ساختار اساسی مختصر بدو شکل گروه بندی تنها یا گروه بندی سلسله مراتبی سازماندهی می نماید.خوشه بندی ،ابزاری برای اکتشاف ساختارهایی از درون داده هاست که نیاز به هیچ فرضی از آنها نیست.این روش در هوش مصنوعی و شناسایی الگو،یادگیری بدون ناظر نامیده می شود.الگوریتم های خوشه بندی گوناگونی برای استخراج دانش از درون مجموعه اطلاعات مختلف وجود دارد.اما عموما این الگوریتم ها حساس به داده های مورد آزمایش و برخی پارامترهای اولیه می باشند،لذا نتایج حاصل از آنها وابسته به ساختار داده ها می باشد.تاکنون الگوریتمی ارائه نشده است که بتواند هر گونه ساختار داده ای را استخراج نماید. یکی دیگر از پدیده های نوظهور در دنیای اطلاعات،داده های جریانی می باشند.این پدیده که در فصل چهارم مطرح شده است،اشاره به حجم وسیعی از اطلاعات انباشته شده دارد که محدودیت های فراوانی برای پردازش ایجاد کرده اند.اندازه این داده ها بیش از حافظه اصلی،یکی از این موانع می باشد.لذا می بایست الگوریتم های جدیدی برای برخورد با این گونه داده ها توسعه یابند.

کلمات کلیدی: داده کاوی، دسته بندی، خوشه بندی، جریان داده

فهرست مطالب

تقدیم به: 3

تقدیر و تشکر. 4

فصل اول مقدمه ای بر داده کاوی. 1

1-1 مقدمه 2

1-2عامل مسبب پیدایش داده کاوی. 2

1-3داده کاوی و مفهوم اکتشاف دانش (K.D.D) 3

1-3-1 تعریف داده کاوی. 5

2-3-1 فرایند داده‌کاوی. 6

1-3-3 قابلیتهای داده کاوی. 7

4-3-1 چه نوع داده‌هایی مورد کاوش قرار می گیرند؟ 8

4-1 وظایف داده کاوی. 9

1-4-1 کلاس بندی. 10

2-4-1 مراحل یک الگوریتم کلاس‌بندی. 11

3-4-1 انواع روش‌های کلاس‌بندی. 11

1-3-4-1 درخت تصمیم. 12

1-1-3-4-1 کشف تقسیمات.. 13

2-1-3-4-1 دسته بندی با درخت تصمیم. 15

3-1-3-4-1 انواع درخت‌های تصمیم. 17

4-1-3-4-1 نحوه‌ی هرس کردن درخت.. 17

2-3-4-1 بیزی. 18

1-2-3-4-1 تئوری بیز. 20

2-2-3-4-1 دسته بندی ساده بیزی. 22

4-4-1 ارزیابی روش‌های کلاس‌بندی. 28

4-1-6 انواع روش‌های پیش بینی. 29

1-4-6-1 رگرسیون. 29

1-4-6-1-1 رگرسیون خطی. 29

1-4-6-1-2 رگرسیون منطقی. 31

1-4-7 تخمین. 32

فصل دوم خوشه بندی. 34

2 1-تعریف فرایند خوشه‌بندی. 35

2-2 روش ها و الگوریتم‌های خوشه‌بندی. 36

2-3 روش و الگوریتم سلسله مراتبی. 37

2 3-1-روش های سلسله‌مراتبی. 37

2 3-2-الگوریتم های سلسله مراتبی. 38

2-3-3- الگوریتم خوشه بندی single-linkage. 39

2 3-4-الگوریتم‌های تفکیک... 45

3-5-2روش‌های متکی برچگالی. 46

3-7-2 روش‌‌های متکی بر مدل. 47

فصل سوم خوشه بندی CS tree. 48

3-1مقدمه 49

3-2 مروری بر روش های خوشه بندی جریان داده 50

3-3 خوشه بندی توری جریان داده 52

3-1-3 مروری بر روش خوشه بندی توری CS tree. 53

3-2- 3 بررسی نقاط ضعف الگوریتم CS tree. 56

3-4 الگوریتم پیشنهادی. 60

3-1-4 بازتعریف مفهوم همسایگی و رفع مشکل تقسیم بی معنی خوشه ها 63

3-5 اصلاح روند بروز رسانی خوشه ها 66

3-6 اصلاح ساختار نمایش خوشه ها 67

فصل چهارم جریان داده و مدل های ان. 69

4-1 مقدمه 70

4-2 کاربردهای داده های جریانی. 71

4-2-1 شبکه های حسگر. 71

4-2-2 تحلیل ترافیک شبکه 72

4-2-3 محرک های مالی. 73

4-2-4 تحلیل تراکنش ها 73

4-3 مدل داده های جریانی. 74

4-4 زیربنای نظری. 75

4-4-1 تکنیک های مبتنی بر داده 76

4-4-1-1 نمونه برداری. 76

4-4-1-2 پراکنده ساختن بار 77

4-4-1-3 طراحی اولیه 77

4-4-1-4 ساختمان داده خلاصه 78

4-4-1-5 انبوه سازی. 78

4-4-2 تکنیک های مبتنی بر وظیفه 78

4-4-2-1 الگوریتم های تخمین. 79

4-4-2-2 الگوریتم های مبتنی بر پنجره 79

4-4-2-3 الگوریتم های دانه دانه سازی نتایج. 80

4-5 خوشه بندی داده های جریانی. 80

4-5-1 بهبود روش های سنتی. 81

4-5-1-1 الگوریتم CLARANS. 82

4-5-1-2 الگوریتم BIRCH.. 84

4-5-2 ظهور تکنیک های جدید. 87

4-5-2-1 الگوریتم مبتنی بر چگالی DBSCAN.. 87

4-5-2-2 الگوریتم مبتنی بر گریدSTING.. 90

4-6 بحث در مورد الگوریتم ها 93

4-6-1 ایا توسعه روش های سنتی درست است؟ 93

4-6-2 روش های جدید چه پیشنهاداتی دارند؟ 94

منابع. 96

فهرست اشکال

شکل 1-1 فرآینده داده کاوی.. 7

شکل1-2 نمونه یک درخت تصمیم.. 13

شکل 1-3 یک تقسیم بندی خوب ، درجه خلوص را برای فرزندان افزایش می دهد. 15

شکل 3-1 تقسیم خوشه های با معنی به زیر خوشه های بی معنی.. 58

شکل3-2 خطاهای روش Cs tree در ترکیب خوشه های یک بعدی و ایجاد خوشه های چند بعدی- قسمت A خطا در تعداد خوشه ها ، قسمت B خطا در شکل خوشه ها، قسمت C خطا در مرز خوشه ها 59

شکل3 -3  روی هم افتادگی خوشه ها در بروز رسانی به روش Cs tree. 60

شکل 4-2  الگوریتم خوشه بندی CLARA.. 82

شکل 4-3  الگوریتم خوشه بندی CLARANS . 84

شکل 4-4  الگوریتم خوشه بندی BIRCH.. 86

شکل 4-6 الگوریتم خوشه بندی.STING.. 92

فصل اول مقدمه ای بر داده کاوی

1-1 مقدمه

 امروزه با گسترش سیستم های پایگاهی و حجم بالای داده های ذخیره شده در این سیستم ها ، نیاز به ابزاری است تا بتوان داده های ذخیره شده را پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد .با استفاده از ابزارهای گوناگون گزارش گیری معمولی ، می توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه گیری در مورد داده ها و روابط منطقی میان انها بپردازند اما وقتی که حجم داده ها خیلی بالا باشد ، کاربران هر چند زبر دست و با تجربه باشند نمی توانند الگوهای مفید را در میان حجم انبوه داده ها تشخیص دهند و یا اگر قادر به این کار هم با شوند ، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است .از سوی دیگر کاربران معمولا فرضیه ای را مطرح می کنند و سپس بر اساس گزارشات مشاهده شده به اثبات یا رد فرضیه می پردازند ، در حالی که امروزه نیاز به روشهایی است که اصطلاحا به کشف دانش بپردازند یعنی با کمترین دخالت کاربر و به صورت خودکار الگوها و رابطه های منطقی را بیان نمایند .

داده کاوی یکی از مهمترین این روشها است که به وسیله ان الگوهای مفید در داده ها با حداقل دخالت کاربران شناخته می شوند و اطلاعاتی را در اختیار کاربران و تحلیل گران قرار می دهند تا براساس انها تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند .

1-2عامل مسبب پیدایش داده کاوی

اصلی ترین دلیلی که باعث شده داده کاوی کانون توجهات در صنعت اطلاعات قرار بگیرد، مساله در دسترس بودن حجم وسیعی از داده ها و نیاز شدید به اینکه از این داده ها,اطلاعات و دانش سودمند استخراج کنیم. اطلاعات و دانش بدست امده در کاربردهای وسیعی مورد استفاده قرار می گیرد.

داده کاوی را می توان حاصل سیر تکاملی طبیعی تکنولوژی اطلاعات دانست، که این سیر تکاملی ناشی از یک سیر تکاملی در صنعت پایگاه داده می باشد، نظیر عملیات جمع اوری داده ها وایجاد پایگاه داده، مدیریت داده و تحلیل و فهم داده ها.

تکامل تکنولوژی پایگاه داده و استفاده فراوان ان در کاربردهای مختلف سبب جمع اوری حجم فراوانی داده شده است. این داده های فراوان باعث ایجاد نیاز برای ابزارهای قدرتمند برای تحلیل داده ها گشته، زیرا در حال حاضر به لحاظ داده ثروتمند هستیم ولی دچار کمبود اطلاعات می باشیم.

ابزارهای داده کاوی داده ها را انالیز می کنند و الگوهای داده ها را کشف می کنند که می توان از ان در کاربردهایی نظیر تعیین استراتژی برای کسب و کار، پایگاه دانش و تحقیقات علمی و پزشکی، استفاده کرد. شکاف موجود بین داده ها و اطلاعات سبب ایجاد نیاز برای ابزارهای داده کاوی شده است تا داده های بی ارزش را به دانشی ارزشمند تبدیل کنیم