پایان نامه ارشد کامپیوتر گرایش نرم افزار: بهینه سازی خوشه ها با بهره گرفتن از الگوریتم های تکاملی برای شخصی سازی وب |
دکتر محمد کریم سهرابی
استاد مشاور
دکتر فرزین یغمایی
تکه هایی از متن به عنوان نمونه :
فهرست مطالب
عنوان صفحه
چکیده…………………………………………………………………………………………………………………….. 1
فصل اول…………………………………………………………………………………………….. 2
1-1-مقدمه………………………………………………………………………………………………………………. 3
1-2-تعریف مسئله………………………………………………………………………………………………………. 4
1-3-اهمیت و ضرورت تحقیق…………………………………………………………………………………………. 5
1-4-شیوه پژوهش………………………………………………………………………………………………………. 8
1-5-چارچوب پایان نامه……………………………………………………………………………………………….. 8
مراجع…………………………………………………………………………………………………………………….. 10
فصل دوم:………………………………………………………………………………………….. 11
2-1-مقدمه……………………………………………………………………………………………………………… 12
2-2-مروی بر کارهای انجام شده……………………………………………………………………………………. 12
مراجع……………………………………………………………………………………………………………………. 21
فصل سوم:………………………………………………………………………………………… 24
3-1-مقدمه…………………………………………………………………………………………………………….. 25
3-2-مراحل وب کاوی………………………………………………………………………………………………… 26
3-2-1-انواع وبکاوی……………………………………………………………………………………………. 27
3-3-شخصیسازی وب………………………………………………………………………………………………. 28
3-3-1-دلایل نیاز به شخصیسازی وب……………………………………………………………………….. 28
3-3-2-مراحل شخصی سازی وب……………………………………………………………………………… 29
3-3-2-1-جمع آوری داده…………………………………………………………………………………… 30
3-3-2-2-پردازش داده……………………………………………………………………………………… 31
3-3-2-3-کشف الگو………………………………………………………………………………………… 31
3-3-2-4-تحلیل دانش……………………………………………………………………………………… 31
3-3-3-تکنیک های مدلسازی کاربر در شخصیسازی وب………………………………………………… 31
3-3-3-1-تکنیک tf-idf……………………………………………………………………………………. 32
3-3-3-2-تکنیک متا مدل و ابزار OLAP……………………………………………………………….. 32
3-3-3-3-تکنیک براساس محتوای وب…………………………………………………………………. 33
3-3-3-4-تکنیک براساس فراهم کردن دادههای موثر (ODP)……………………………………….. 34
3-3-3-5-شخصیسازی وب با بهره گرفتن از روشهای ترکیبی………………………………………….. 34
3-3-3-6-شخصیسازی وب براساس الگوریتم استقرایی و تکنولوژی tf-idf……………………….. 35
3-3-3-7-شخصیسازی وب با بهره گرفتن از کندوکاو الگوی ترتیبی و درخت الگو……………………. 35
3-4-خوشهبندی برای شخصیسازی وب………………………………………………………………………….. 35
3-4-1-خوشهبندی فازی………………………………………………………………………………………… 36
3-4-1-1-الگوریتم پایهای خوشهبندی فازی……………………………………………………………… 36
3-4-1-2-الگوریتم فازی کا-مینز…………………………………………………………………………. 36
3-4-1-3-خوشهبندی صفحات وب با بهره گرفتن از خوشهبندی فازی k-means………………………. 37
3-4-2-الگوریتم ژنتیک…………………………………………………………………………………………. 39
3-4-2-1-بهینهسازی خوشهبندی فازی با بهره گرفتن از الگوریتم ژنتیک……………………………….. 40
3-4-3-روش پیشنهادی در این تحقیق……………………………………………………………………….. 42
3-4-4-شمای کلی سیستم پیشنهادی………………………………………………………………………… 42
3-4-5-مثالی از سیستم پیشنهادی…………………………………………………………………………… 43
3-4-6-شبه کد روش پیشنهادی……………………………………………………………………………….. 50
3-5-جمعبندی……………………………………………………………………………………………………….. 51
مراجع…………………………………………………………………………………………………………………… 53
فصل چهارم:………………………………………………………………………………………. 55
4-1-مقدمه…………………………………………………………………………………………………………….. 56
4-2-مجموعه داده ها…………………………………………………………………………………………………. 56
4-2-1-دیتاست YANDEX……………………………………………………………………………………. 57
4-2-1-1-پیش پردازش انجام شده با مجموعه داده های خام قبل از انتشار………………………….. 57
4-3-پارامترهای ارزیابی……………………………………………………………………………………………… 60
4-4-آزمایشات انجام شده…………………………………………………………………………………………… 61
4-4-1-سخت افزار مورد استفاده……………………………………………………………………………….. 62
4-4-2-نتایج آزمایشات…………………………………………………………………………………………. 62
4-5-جمعبندی……………………………………………………………………………………………………….. 64
مراجع:…………………………………………………………………………………………………………………… 65
فصل پنجم:………………………………………………………………………………………… 66
5-1-مقدمه…………………………………………………………………………………………………………….. 67
5-2-نتایج و دستاوردهای پروژه……………………………………………………………………………………. 68
5-3-پیشنهادات……………………………………………………………………………………………………… 68
مراجع……………………………………………………………………………………………………………………. 70
فهرست اشکال
29
شکل 3-2: مجموعه داده پروانهای. 38
شکل 3-3:خوشه بندی فازی داده. 39
شکل 3-4: مراحل اصلی الگوریتم ژنتیک. 40
شکل 3-5: شمای کلی سیستم پیشنهادی.. 42
شکل 3-6: خوشهبندی داده های آموزشی.. 47
شکل 3-7: خوشهبندی داده های تست.. 49
شکل 4-8: مقایسه روشهای پیشنهادی با روش ارائه شده در (Varghese, & John, 2012). 64
فهرست جداول
62
جدول4-2: مقایسه نتایج سیستم پیشنهادی با سایر روشها 62
جدول 4-3: مقایسه نتایج سیستم پیشنهادی با روش ارائه شده در (Varghese, & John, 2012). 63
چکیده
گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار میرود. برای مقابله با این مشکل، سیستمهای شخصیسازی وب ارائه شده اند که محتوا و سرویسهای یک وبسایت را با افراد براساس علایق و رفتار گردشی آنها سازگار می کنند. یک مؤلفهی اساسی در هر سیستم شخصیسازی وب، مدل کاربر آن است. هدف از شخصی سازی وب، مهیا ساختن محتوا و سرویسهای مورد نیاز کاربران به وسیله دانش به دست آمده از تعاملات قبلی کاربران در صفحات وب است. در حال حاضر، برای شخصیسازی وب چندین متد خوشهبندی در دسترس است. روشهایی که تاکنون ارائه شده اند، در مواردی دارای اشکالاتی بودند. البته تکنیکهای جدیدی در رفع این مشکلات و بهبود آنها ارائه شده است. اما در بیشتر این تکنیکها، مسائل افزونگی داده و مقیاسبندی بالا وجود دارد. با توجه به اینکه افزایش کاربران وب منجر به افزایش اندازهی خوشه میگرد، نیاز به بهینهسازی خوشهها اجتنابناپذیر خواهد بود. در تحقیق، یک متدولوژی بهینهسازی خوشه بر اساس سیستم فازی ارائه شده است. به منظور افزایش دقت نهایی خوشهبندی، برای تنظیم پارامترهای توابع عضویت از الگوریتم ژنتیک استفاده شده است. نتایج حاصل از شبیهسازی نشان میدهد که روش پیشنهادی دقت خوشهبندی صفحات وب را تا حد قابل توجهی افزایش میدهد.
کلید واژه ها: شخصیسازی صفحات وب- خوشهبندی- کاربرد وبکاوی- الگوریتم فازی سی مینز- پایگاه داده یاندکس.
1-1- مقدمه
با توسعه سیستمهای اطلاعاتی، داده به یکی از منابع پراهمیت سازمانها مبدل گشته است. بنابراین روشها و تکنیکهایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز میباشد. با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، نیاز به این روشها و تکنیکها بیش از پیش احساس میشود. وب، محیطی وسیع، متنوع و پویا است که کاربران متعدد اسناد خود را در آن منتشر میکنند. در حال حاضر بیش از دو بیلیون صفحه در وب موجود است و این تعداد با نرخ 7.3 میلیون صفحه در روز افزایش مییابد. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریباً غیر ممکن است و ابزارها و روشهایی نو برای مدیریت آن مورد نیاز است. به طور کلی کاربران وب در استفاده از آن با مشکلات زیر روبرو هستند:
- یافتن اطلاعات مرتبط: یافتن اطلاعات مورد نیاز در وب دشوار میباشد. روشهای سنتی بازیابی اطلاعات که برای جستجوی اطلاعات در پایگاه دادهها به کار میروند، قابل استفاده در وب نمیباشند و کاربران معمولاً از موتورهای جستجو که مهمترین و رایج ترین ابزار برای یافتن اطلاعات در وب می باشند، استفاده میکنند. این موتورها، یک پرس و جوی مبتنی بر کلمات کلیدی از کاربر دریافت کرده و در پاسخ لیستی از اسناد مرتبط با پرس و جوی وی را که بر اساس میزان ارتباط با این پرس و جو مرتب شده اند، به وی ارائه می کنند. اما موتورهای جستجو دارای دو مشکل اصلی هستند (Baeza-Yates, 2004). اولاً دقت موتورهای جستجو پایین است، چراکه این موتورها در پاسخ به یک پرس و جوی کاربر صدها یا هزاران سند را بازیابی میکنند، در حالی که بسیاری از اسناد بازیابی شده توسط آنها با نیاز اطلاعاتی کاربر مرتبط نمیباشند (Bharat, and et. al., 2001). ثانیاً میزان فراخوان این موتورها کم میباشد، به آن معنی که قادر به بازیابی کلیه اسناد مرتبط با نیاز اطلاعاتی کاربر نیستند. چرا که حجم اسناد در وب بسیار زیاد است و موتورهای جستجو قادر به نگهداری اطلاعات کلیه اسناد وب، در پایگاه دادههای خود نمیباشند (Chakrabarti, and et. al., 1999).
- ایجاد دانش جدید با بهره گرفتن از اطلاعات موجود در وب: در حال حاضر این سوال مطرح است که چگونه میتوان دادههای فراوان موجود در وب را به دانشی قابل استفاده تبدیل کرد، به طوری که یافتن اطلاعات مورد نیاز در آن به سادگی صورت بگیرد. همچنین چگونه میتوان با بهره گرفتن از دادههای وب به اطلاعات و دانشی جدید دست یافت.
- خصوصی سازی اطلاعات: از آن جا که کاربران متفاوت هر یک درباره نوع و نحوه بازنمایی اطلاعات سلیقه خاصی دارند، این مسئله باید توسط تأمینکنندگان اطلاعات در وب مورد توجه قرار بگیرد. برای این منظور با توجه به خواستهها و تمایلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها باید سفارشی گردد.
تکنیکهای وب کاوی قادر به حل این مشکلات میباشند (Chakrabarti, 2000).
ممکن است هنگام انتقال از فایل اصلی به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود ولی در فایل دانلودی همه چیز مرتب و کامل و با فرمت ورد موجود اس
فرم در حال بارگذاری ...
[سه شنبه 1399-10-02] [ 08:33:00 ب.ظ ]
|