داده کاوی

[بانوثریا]

دانش داده کاوی (http://njavan.com/forum/redirector.php?url=http%3A%2F%2Fmitm3.blogfa.com%2 Fpost-672.aspx)

بگونه ای که امروزه مرز و محدودیتی برای کاربرد این دانش در نظر گرفته نشده و زمینه های کاری این دانش را در تمامی عرصه های برخوردار از داده می دانند.

در طول دهه گذشته حجم زیادی از داده ها در پایگاه داده ها انباشته و ذخیره شده اند و نتیجه این انباشتگی این است که سازمان ها در داده غنی ولی در کسب دانش بسیار ضعیف می باشند. امروزه میزان داده های در دسترس هر 5 سال دو برابر می شود و سازمانی توانا است که قادر باشد حداقل 7 درصد از اطلاعاتش را مدیریت نماید. تحقیقات انجام یافته نشان از آن دارد که سازمان ها امروزه کمتر از یک درصد از داده هایشان را برای تحلیل استفاده می نمایند. به عبارت دیگر امروزه سازمان ها در اطلاعات غرق شده اند در حالیکه گرسنه دانش هستند چرا که سازمان ها داده های زیادی را در تصرف خود دارند درحالیکه هنوز با فقدان دانش پنهان درون داده ها مواجه هستند.

امروزه با توجه به تنوع زیاد مخاطبین، مشتریان، بازارها، تنوع و پیچیدگی خدمات و محیطهای کسب و کار، دسترسی به اطلاعات مناسب برای تصمیم گیری صحیح ضروری می باشد. از این‌رو استفاده از راهکار های مناسب برای طبقه بندی و تولید اطلاعات از میان انبوهی از داده ها برای سازمان ها امری ضروری و حیاتی است. علم داده کاوی پاسخی به این نیاز به منظور کشف دانش پنهان داده‌ها و تامین اطلاعات مورد نیاز مدیران می‌باشد. دانش داده کاوی ابزاری است که مدیران را قادر می سازد تا سریع تر نسبت به آینده عمل نمایند، فعال باشند بجای آنکه واکنش پذیر باشند و بدانند و مطمئن باشند بجای آنکه حدس بزنند . واضح است که با داشتن این قابلیت، سازمان ها قادر می باشند دانش ارزشمندی را از داده هایشان بدست آورند.

دانش داده کاوی سازمانها را قادر می سازد تا از سرمایه داده هایشان بهره برداری نمایند . این ابزار برای پشتیبان فرایند تصمیم گیری استفاده می گردد. داده کاوی با پردازش جامع داده و انجام فرایند تصمیم سازی از طریق استخراج دانش با ارزش از داده، تصمیم گیری را برای مدیران سازمان تسهیل می نماید.

[بانوثریا]

داده کاوی فرایندی تحلیلی است که برای کاوش داده ها ( معمولا حجم عظیمی از داده ها - در زمینه های کسب وکار و بازار) صورت می‌گیرد و یافته‌ها‌با‌به‌کارگیری الگوهایی‌،‌احراز اعتبار می‌شوند . هدف اصلی داده کاوی پیش بینی است. و به صورت دقیق تر میتوان گفت :
"کاوش داده ها شناسایی الگوهای صحیح، بدیع، سودمند و قابل درک از داده های موجود در یک پایگاه داده است که با استفاده از پرداز شهای معمول قابل دستیابی نیستند"

‌فرایند داده ‌کاوی شامل سه مرحله می باشد : 1. کاوش اولیه 2. ساخت مدل یا شناسایی الگو با کمک احراز اعتبار/ تایید 3. بهره برداری.
مرحله 1 : کاوش معمولا‌این‌مرحله با آماده سازی داده ها صورت می گیرد که ممکن است شامل پاک سازی داده ها ،‌تبدیل داده ها‌و‌انتخاب زیرمجموعه‌هایی‌‌ از رکوردها‌با‌حجم‌عظیمی‌از ‌متغییرها( فیلدها ) باشد . سپس با توجه‌به‌ماهیت‌مساله تحلیلی‌، این‌مرحله‌به‌مدل‌های‌‌ ‌پیش بینی ساده یا مدل‌های‌آماری‌و‌گرافیکی برای شناسایی متغیرهای مورد نظر و تعیین پیچیدگی مدل‌ها برای استفاده در مرحله بعدی نیاز دارد .


مرحله 2:ساخت و احراز اعتبار مدل این‌مرحله‌به‍ بررسی‌مدل‌های مختلف و گزینش بهترین مدل با توجه به کارآیی پیش‌بینی آن می پردازد. شاید این مرحله ساده به نظر برسد، اما اینطورنیست. تکنیک‌های‌متعددی‌برای‌ر سیدن‌به‌این‌هدف توسعه یافتند.و " ارزیابی رقابتی مدل ها"‌نام گرفتند. بدین منظور مدل‌های مختلف برای مجموعه داده‌های یکسان‌‌به‌کار‌می‌روند‌ تا‌کارآیی‌شان‌با‌هم مقایسه‌شود ،‌سپس مدلی که‌بهترین کارآیی راداشته باشد‌، انتخاب می‌شود.‌این‌تکنیک‌ها عبارتند از : Bagging,Boosting ,Stacking و Meta-learning



مرحله 3 : بهره برداری آخرین‌مرحله‌مدلی‌راکه‌د رمرحله قبل‌انتخاب‌شده است، در داده‌های‌جدیدبه کار‌می‌گیردتا پیش‌بینی‌های‌خروجی‌های مورد انتظاررا تولید نماید.داده کاوی‌به‌عنوان‌ابزار‌مدی ریت‌اطلاعات‌برای‌تصمیم گیری‌،‌عمومیت‌یافته‌است . اخیرا‌،‌توسعه تکنیک های تحلیلی جدید در این زمینه مورد توجه قرار گرفته است (مثلا Classification Trees)،اما هنوز داده کاوی مبتنی بر اصول آماری نظیر(Exploratory Data Analysis (EDA)می باشد.
بااین وجود تفاوت عمده ای بین داده کاوی و EDA وجود‌دارد‌.داده‌کاوی‌بی� �تر‌ به ‌برنامه ‌های ‌کاربردی گرایش دارد تا ماهیت اصلی پدیده .به عبارتی‌داده کاوی کمتر با شناسایی روابط بین متغیرها سروکار دارد .
مفاهیم اساسی در داده کاوی Bagging: این مفهوم برای ترکیب رده بندی های پیش بینی شده از چند مدل به کار می رود.فرض کنیدکه قصدداریدمدلی برای رده بندی پیش بینی بسازیدو مجموعه داده های مورد نظرتان کوچک است.شمامی توانید نمونه هایی( با جایگزینی) را از مجموعه داده ها انتخاب و برای نمونه های حاصل ازدرخت رده بندی (مثلا C&RT وCHAID )استفاده نمایید.به طورکلی برای نمونه های مختلف به درخت های متفاوتی خواهید رسید.سپس برای پیش بینی با کمک درخت های متفاوت به دست آمده از نمونه ها ،‌یک رای گیری ساده انجام دهید.رده بندی نهایی ، رده بندی ای‌خواهد بود که درخت های مختلف آنرا پیش بینی کرده اند . Boosting: این مفهوم برای تولید مدل‌های چندگانه (برای پیش بینی یا رده بندی)به کار می‌رود. Boosting نیزاز روش C&RT یا CHAID استفاده وترتیبی از classifier ها را تولید خواهد کرد . Meta-Learning : این مفهوم برای ترکیب پیش بینی‌های حاصل از چند مدل به کار می‌رود.و هنگامی که انواع مدل‌های موجود در پروژه خیلی متفاوت هستند، کاربرد دارد. فرض کنید که پروژه داده کاوی شما شامل Tree classifierها نظیر C&RTو CHAID، تحلیل خطی و شبکه های عصبی است.هر یک از کامپیوترها،رده بندی هایی رابرای نمونه ها‌پیش بینی کرده اند.تجربه نشان می‌دهدکه ترکیب پیش بینی های چند روش دقیق تراز پیش بینی های هریک از روشهاست.پیش بینی های حاصل از چند classifier را می توان به عنوان ورودی meta-linear مورد استفاده قرار داد. meta-linear پیش بینی هارا ترکیب می کند تا بهترین رده بندی پیش بینی شده حاصل شود.