دانلود پایان‌نامه كارشناسی ارشد مهندسی نرم افزار
ارائه مدلی برای شناسایی عوامل موثر در احتمال به بار آوردن خسارت یک مشتری با توجه به میزان تاثیر آن عوامل با داده کاوی
(مطالعه موردی: شرکت سهامی بیمه ایران)
چکیده
بررسی اطلاعات بیمه های اتومبیل نشان داده عواملی چون نوع استفاده خودرو، داشتن گواهینامه رانندگی، نوع گواهینامه و تطابق یا عدم تطابق آن با وسیله نقلیه، مبلغ حق بیمه، میزان تعهدات بیمه نامه، کیفیت خودروی خودرو سازان، سن راننده، سواد راننده، عدم تطابق حق بیمه با مورد بیمه، تاخیردرتمدید بیمه نامه، در سود و زیان شرکت های بیمه تاثیر داشته اند.
هدف این پایان نامه شناخت عوامل اثرگذار و ضریب تاثیر آنها در سود و زیان بیمه شخص ثالث خودرو شرکت های بیمه با استفاده از روش داده کاوی و سپس انتخاب الگوریتمی که بهترین میزان دقت پیش بینی برای تشخیص این عوامل را داشته اند می باشد.نتیجه حاصل از این پژوهش نشان می دهد که روشهای داده کاوی با استفاده از الگوریتم های دسته بندی با دقت بالای 91% و الگوریتم های درخت تصمیم با دقت بالای 96% و الگوریتم های خوشه بندی با ایجاد خوشه های قابل قبول قادر به ارائه مدلی برای تشخیص عوامل اثرگذار و تعیین میزان اثر آنها در سود و زیان بیمه نامه شخص ثالث خودرو خواهند بود.
کلیدواژگان:
داده کاوی
سود و زیان
بیمه شخص ثالث خودرو
مقدمه
شرکتهای تجاری و بازرگانی برای ادامه بقا و حفظ بازار همواره بر سود دهی و کاهش ضرر و زیان خود تاکید دارند از این رو روشهای جذب مشتری و همچنین تکنیکهای جلوگیری یا کاهش زیان در سرلوحه کاری این شرکتها قرار می گیرد. از جمله شرکتهایی که بدلایل مختلف در معرض کاهش سود و یا افزایش زیان قرار می گیرند شرکتهای بیمه ای می باشند. عواملی همچون بازاریابی، وفاداری مشتریان، نرخ حق بیمه، تبلیغات، تقلب، می تواند باعث جذب یا دفع مشتری گردد که در سود و زیان تاثیر مستقیم و غیر مستقیم دارد. پرداخت خسارت نیز به عنوان تعهد شرکتهای بیمه منجر به کاهش سود و در بعضی موارد موجب زیان یک شرکت بیمه می شود. خسارت می تواند بدلایل مختلف رخ دهد و یا عملی دیگر به گونه ای خسارت جلوه داده شود که در واقع اینچنین نیست[Derrig et. al 2006].
عواملی از قبیل فرهنگ رانندگی، داشتن گواهینامه رانندگی، نوع گواهینامه و تطابق یا عدم تطابق آن با وسیله نقلیه، جاده های بین شهری و خیابانهای داخل شهر که شهرداری ها و ادارات راه را به چالش می کشد، تقلب، وضعیت آب و هوا، کیفیت خودروی خودرو سازان، سن راننده، سواد راننده، عدم تطابق حق بیمه با مورد بیمه [Wilson 2003]، روزهای تعطیل، مسافرتها و بسیاری موارد دیگر می توانند موجب خسارت و در نهایت افزایش زیان یک شرکت بیمه ای گردند. بیمه صنعتی سودمند، ضروری و مؤثر در توسعه اقتصادی است. این صنعت بدلیل «افزایش امنیت در عرصه های مختلف زندگی و فعالیتهای اقتصادی»، «افزایش سرمایه گذاری و اشتغال و رشد اقتصادی» و « ارتقای عدالت اقتصادی و کاهش فقر ناشی از مخاطرات »، حائز جایگاه مهمی در پیشرفت و تعالی یک کشور است.
با وجود نقش مهم بیمه در بسترسازی و تأمین شرایط مساعد اقتصادی، وضعیت کنونی این صنعت در اقتصاد ملی با وضعیت مطلوب آن فاصله زیادی دارد. عدم آشنایی عمومی و کم بودن تقاضا برای محصولات بیمه ای، دانش فنی پایین در عرصه خدمات بیمه ای، عدم تطابق ریسک با حق بیمه، تفاوت فاحش در مقایسه معیارهای تشخیص ریسک بیمه شخص ثالث با نوع بیمه معادل در کشورهای توسعه یافته، وجود نارسایی ها در مدیریت واحدهای عرضه بیمه از دلایل عدم توسعه مناسب این صنعت در کشور است. از آنجا که بشر در طول تاریخ به کمک علم و تجربه رستگاری ها و توفیقات فراوانی کسب کرده است، نگاه علمی تر به مشکلات این صنعت و یافتن راه حل در بستر علم می تواند راه گشا باشد. امروزه بوسیله روشهای داده کاوی ارتباط بین فاکتورهای مختلف موثر یا غیر موثر در یک موضوع مشخص می شود و با توجه به اینکه داده کاوی ابزاری مفید در استخراج دانش از داده های انبوه می باشد که ارتباطات نهفته بین آنها را نشان می دهد، شرکتهای تجاری بازرگانی رو به این تکنیکها آورده اند. داده کاوی محدود به استفاده از فناوری ها نیست و از هرآنچه که برایش مفید واقع شود استفاده خواهد کرد. با این وجود آمار و کامپیوتر پر استفاده ترین علوم و فناوری های مورد استفاده داده کاوی است.
فهرست مطالب
فصل اول: کلیات
1-1 تعریف داده کاوی 3
1-2 تعریف بیمه 4
1-3 هدف پایان نامه 4
1-4 مراحل انجام تحقیق 4
1-5 ساختار پایان نامه 5
فصل دوم: ادبیات موضوع و تحقیقات پیشین
2-1 داده کاوی و یادگیری ماشین 7
2-2 ابزارها و تکنیک های داده کاوی 8
2-3 روشهای داده کاوی 9
2-3-1 روشهای توصیف داده ها 10
2-3-2 روشهای تجزیه و تحلیل وابستگی 10
2-3-3 روشهای دسته بندی و پیشگویی 10
2-3-4 درخت تصمیم 11
2-3-5 شبکه عصبی 12
2-3-6 استدلال مبتنی بر حافظه 12
2-3-7 ماشین های بردار پشتیبانی 13
2-3-8 روشهای خوشه بندی 13
2-3-9 روش K-Means 13
2-3-10 شبکه کوهنن 14
2-3-11 روش دو گام 14
2-3-12 روشهای تجزیه و تحلیل نویز 14
2-4 دسته های نامتعادل]صنیعی آباده 1391[. 15
2-4-1 راهکار مبتنی بر معیار 15
2-4-2 راهکار مبتنی بر نمونه برداری 15
2-5 پیشینه تحقیق 16
2-6 خلاصه فصل 19
فصل سوم: شرح پژوهش
3-1 انتخاب نرم افزار 21
3-1-1 Rapidminer 21
3-1-2 مقایسه RapidMiner با سایر نرم افزار های مشابه 21
3-2 داده ها 25
3-2-1 انتخاب داده 25
3-2-2 فیلدهای مجموعه داده صدور 25
3-2-3 کاهش ابعاد 25
3-2-4 فیلدهای مجموعه داده خسارت 29
3-2-5 پاکسازی داده ها 29
3-2-6 رسیدگی به داده های از دست رفته 29
3-2-7 کشف داده دور افتاده 30
3-2-8 انبوهش داده 32
3-2-9 ایجاد ویژگی دسته 32
3-2-10 تبدیل داده 32
3-2-11 انتقال داده به محیط داده کاوی 32
3-2-12 انواع داده تعیین شده 33
3-2-13 عملیات انتخاب ویژگیهای موثرتر 34
3-3 نتایج اعمال الگوریتم PCA و الگوریتم های وزن دهی 34
3-4 ویژگی های منتخب جهت استفاده در الگوریتمهای حساس به تعداد ویژگی 36
3-5 معیارهای ارزیابی الگوریتمهای دسته بندی 37
3-6 ماتریس درهم ریختگی 37
3-7 معیار AUC 38
3-8 روشهای ارزیابی الگوریتم های دسته بندی 39
3-8-1 روش Holdout 39
3-8-2 روش Random Subsampling 39
3-8-3 روش Cross-Validation 40
3-8-4 روش Bootstrap 40
3-9 الگوریتمهای دسته بندی 41
3-9-1 الگوریتم KNN 42
3-9-2 الگوریتم Naïve Bayes 42
3-9-3 الگوریتم Neural Network 43
3-9-4 الگوریتم SVM خطی 45
3-9-5 الگوریتم رگرسیون لجستیک 46
3-9-6 الگوریتم Meta Decision Tree 47
3-9-7 الگوریتم درخت Wj48 49
3-9-8 الگوریتم درخت Random forest 51
3-10 معیارهای ارزیابی الگوریتم های مبتنی بر قانون(کشف قوانین انجمنی) 54
3-10-1 الگوریتم FPgrowth 55
3-10-2 الگوریتم Weka Apriori 55
3-11 معیارهای ارزیابی الگوریتمهای خوشه بندی 55
3-12 الگوریتم های خوشه بندی 57
3-12-1 الگوریتم K-Means 57
3-12-2 الگوریتم Kohonen 60
3-12-3 الگوریتم دوگامی 64
فصل چهارم: ارزیابی و نتیجه گیری
4-1 مقایسه نتایج 69
4-2 الگوریتمهای دسته بندی 69
4-3 الگوریتم های دسته بندی درخت تصمیم 70
4-4 الگوریتم های خوشه بندی 79
4-5 الگوریتم های قواعد تلازمی(مبتنی بر قانون) 81
4-6 پیشنهادات به شرکت های بیمه 81
4-7 پیشنهادات جهت ادامه کار 83
منابع و مأخذ
فهرست منابع فارسی 84
فهرست منابع انگلیسی 85
فهرست جدول‌ها
جدول شماره 3-1: نتایج رای گیری استفاده از نرم افزارهای داده کاوی 24
جدول شماره 3-2: فیلدهای اولیه داده های صدور 26
جدول شماره 3-3: فیلدهای نهایی داده های صدور 27
جدول شماره 3-4: فیلدهای حذف شده داده های صدور و علت حذف آنها 28
جدول 3-5: فیلدهای استخراج شده از داده های خسارت 28
جدول 3-6: نتایج نمودار boxplot 31
جدول 3-7: انواع داده استفاده شده 33
جدول 3-8: نتایج حاصل از اجتماع فیلدهای با بالاترین وزن در الگوریتمهای مختلف 37
جدول 3-9: ماتریس در هم ریختگی رکوردهای تخمینی(Predicted Records) 38
جدول 3-10: قوانین استخراج شده توسط الگوریتم Fpgrowth 55
جدول 3-11: قوانین استخراج شده توسط الگوریتم Weka Apriori 55
جدول 3-12: تنظیمات پارامترهای الگوریتم K-Means 57
اجرا برای 9 خوشه در الگوریتم K-Means 60
جدول 3-13: تنظیمات پارامترهای الگوریتم Kohonen 64
جدول 3-14: تنظیمات پارامترهای الگوریتم دوگامی 69
جدول 4-1: مقایسه الگوریتم های دسته بند 70
جدول 4-2: مقایسه الگوریتم های دسته بند درخت تصمیم 70
جدول 4-3: ماتریس آشفتگی قانون شماره 1 71
جدول 4-4: ماتریس آشفتگی قانون شماره 2 72
جدول 4-5: ماتریس آشفتگی قانون شماره 3 الف 72
جدول 4-6: ماتریس آشفتگی قانون شماره 3 ب 72
جدول 4-7: ماتریس آشفتگی قانون شماره 3 ج 73
جدول 4-8: ماتریس آشفتگی قانون شماره 3 د 73
جدول 4-9: ماتریس آشفتگی قانون شماره 3 ه 73
جدول 4-10: ماتریس آشفتگی قانون شماره 3 و 74
جدول 4-11: ماتریس آشفتگی قانون شماره 3 ز 76
جدول 4-12: ماتریس آشفتگی قانون شماره 4 76
جدول 4-13: ماتریس آشفتگی قانون شماره 5 77
جدول 4-14: ماتریس آشفتگی قانون شماره 6 الف 77
جدول 4-15: ماتریس آشفتگی قانون شماره 6 ب 78
جدول 4-16: ماتریس آشفتگی قانون شماره7 78
جدول 4-17: ماتریس آشفتگی قانون شماره8 79
جدول 4-18: مقایسه الگوریتم های خوشه بندی 79
جدول 4-19: فیلدهای حاصل از الگوریتم های خوشه بندی 80
جدول 4-20: نتایج الگوریتم های FpGrowth, Weka Apriori 81
فهرست شکل‌ها
شکل شماره3-1: داده از دست رفته فیلد" نوع بیمه " پس از انتقال به محیط داده کاوی 33
شکل 3-2: نتایج الگوریتمPCA 34
شکل 3-3: نتایج الگوریتم SVM Weighting در ارزشدهی به ویژگی ها 35
شکل 3-4: نتایج الگوریتم Weighting Deviation در ارزشدهی به ویژگی ها 35
شکل 3-5: نتایج الگوریتم Weighting Correlation در ارزشدهی به ویژگی ها 36
شکل 3-6: نمای کلی استفاده از روشهای ارزیابی 41
شکل 3-7: نمای کلی استفاده از یک مدل درون یک روش ارزیابی 42
شکل 3-8: نمودار AUC الگوریتم KNN 42
شکل 3-9: نمودار AUC الگوریتم Naïve Bayes 43
شکل 3-10: تبدیل ویژگی های غیر عددی به عدد در الگوریتم شبکه عصبی 44
شکل 3-11: نمودار AUC و ماتریس آشفتگی الگوریتم Neural Net 44
شکل 3-12: تبدیل ویژگی های غیر عددی به عدد در الگوریتم SVM خطی 45
شکل 3-13 : نمودار AUC الگوریتم SVM Linear 46
شکل 3-14 : نمودار AUC الگوریتم رگرسیون لجستیک 47
شکل 3-15 : نمودار AUC الگوریتم Meta Decision Tree 48
شکل 3-16 : قسمتی از نمودارtree الگوریتم Meta Decision Tree 49
شکل 3-17 : نمودار radial الگوریتم Meta Decision Tree 49
شکل 3-18: نمودار AUC الگوریتم Wj48 50
شکل 3-19 : نمودار tree الگوریتم Wj48 51
شکل 3-20 : نمودار AUC الگوریتم Random forest 52
شکل 3-21 : نمودار تولید 20 درخت در الگوریتم Random Forest 53
شکل 3-22 : یک نمونه درخت تولید شده توسط الگوریتم Random Forest 53
شکل 3-23 : رسیدن درصد خطا به صفر پس از 8مرتبه 57
شکل 3-24 : Predictor Importance for K-Means 58
شکل 3-25 : اندازه خوشه ها و نسبت کوچکترین خوشه به بزرگترین خوشه در الگوریتم
K-Means 59
شکل 3-26 : کیفیت خوشه ها در الگوریتمMeans K- 60
شکل 3-27 : Predictor Importance for Kohonen 61
شکل 3-28 : اندازه خوشه ها و نسبت کوچکترین خوشه به بزرگترین خوشه در الگوریتم
Kohonen 62
شکل 3-29 : کیفیت خوشه ها در الگوریتمMeans K- 63
شکل 3-30 : تعداد نرون های ورودی و خروجی در Kohonen 63
شکل 3-31 : Predictor Importance for دوگامی 64
شکل 3-32 : اندازه خوشه ها و نسبت کوچکترین خوشه به بزرگترین خوشه در
الگوریتم دوگامی 65
شکل 3-33 : کیفیت خوشه ها در الگوریتم دوگامی 66
شکل4-1: نمودارنسبت تخفیف عدم خسارت به خسارت 75
قیمت: 34٬000 تومان
قیمت: 40٬500 تومان
قیمت: 65٬000 تومان