مقدمه

بشر در جهانی زندگی می‌کند که هر روز حجم انبوهی از داده‌ها در آن تولید می‌شوند. تحلیل چنین داده‌هایی یک نیاز مهم است. در ادامه به این مبحث پرداخته می‌شود که داده‌کاوی چگونه می‌تواند ابزارهای لازم برای کشف دانش از داده را فراهم کند. پس از مطالعه این مطلب به سادگی می‌توان پی برد که داده‌کاوی نتیجه تکامل طبیعی فناوری اطلاعات است.

Data Mining عبارت است از اقتباس يا استخراج دانش از مجموعه ای از داده ها ، به بيان ديگر ، Data Mining فرايندی است که با استفاده از تکنيکهای هوشمند، دانش را از مجموعه ای از داده ها استخراج می کند.

Data Mining از ساخت مدل های تحليلی ، دسته بندی و پيش بينی اطلاعات و ارائه نتايج با استفاده از ابزارهای مرتبط استفاده می کند.

برای اينکه الگوريتم Data Mining بتواند عمل استخراج دانش را بخوبی انجام دهد، نياز به يک سری پيش پردازش ها بر روی مجموعه آموزشی و يک سری پس پردازش ها بر روی الگوهای استخراج شده دارد.

جايگاه داده کاوی

*داده کاوی را می توان يک شاخه از يادگيری ماشين دانست.
*به دليل عدم وجود يک چارچوب تئوريک برای داده کاوی، در نظر گرفتن آن به
عنوان زير مجموعه ای از يادگيری ماشين می تواند مورد بحث قرار گيرد.
*تلاشهای اندکی برای توسعه يک چارچوب تئوريک برای داده کاوی انجام گرفته
است.
*اين ميزان تلاش کافی نبوده و به نتيجه قابل قبولی نرسيده است.
*تفسير داده کاوی به عنوان زير مجموعه ای از آمار، چندان قانع کننده نيست: مسائل
با فضای حالت دارای ابعاد زياد مهمترين وجه اين تمايزند.
*تفسير داده کاوی به عنوان فرآيندی جهت تخمين تابع توزيع احتمال توأم نمونه ها:
تکراری بودن داده کاوی چنين طبقه بندی را رد می کند.
*نظريه داده کاوی معادل فشرده سازی، داده کاوی را فرآيندی برای فشرده سازی
اطلاعات ورودی، از طريق پيدا کردن يک ساختار مناسب برای آن در نظر می گيرد.

روشهای مختلف Data Mining 

vاين روشها بطور کلی به دو دسته زير تقسيم می شوند:

vالگوريتمهای يادگيری با نظارت (Prediction Method)

vالگوريتمهای يادگيری بدون نظارت) (Description Methods

vدر الگوريتمهای يادگيری با نظارت هدف از Data Mining مشخص است و می دانيم که به دنبال چه نوع دانشی می گرديم. مانند دسته بندی.

vدر روشهای يادگيری بدون نظارت، هدف کاملا تعريف شده نيست. مانند خوشه بندی.

مشکلات و چالش‌های داده‌ کاوی

مسائل امنیتی و حفظ حریم‌خصوصی

مواجهه با داده‌های ناقص و پراکنده

دشواری کشف پیچیدگی‌های موجود در برخی داده‌ها

چالش‌های روش‌شناختی

لزوم انتخاب روش تحلیل درست برای استخراج نتایجی کارآمد

مقیاس‌پذیری الگوریتم ها

دشواری در ارائه مفاهیم شهودی برای برخی پدیده‌های نهفته در داده ها