در داده کاوی برای اینکه بتوان روی داده ها پردازش انجام داده باید روی آن ها یک سری عملیات انجام داد تا داده ها به صورت یک دست در آیند چون داده ها از منابع مختلف جمع آوری می شوند با هم تفاوت دارند به این کار که داده ها را به صورت یک دست در می آورد فرایند پیش پردازش می گویند که در زیر به آن پرداخته می شود:

پیش پردازش، داده های خام و سیگنالها را طی چند عملیات متوالی به داده هایی مناسب جهت استفاده تبدیل می کند.

هدف از پیش پردازش داده ها موارد زیر است:

کاهش اندازه فضای ورودی

روابط هموارتر

نرمال سازی داده ها

کاهش نویز

استخراج ویژگی

روشهای پیشپردازش دادهها

پاکسازی داده ها

مقادیر گمشده

داده های مزاحم

داده های ناپایدار

یکپارچه سازی داده ها

تبدیل داده ها

هموارسازی

انبوهش

تعمیم داده ها

نرمال سازی داده ها

تلخیص داده ها

توضیح مباحث پیش پردازش داده ها

پاکسازی داده ها

مقادیر گمشده:

داده هایی هستند که به هر دلیلی در هنگام تحلیل داده ها در اختیار تحلیل گر قرار ندارند

فقدان این داده ها تحلیل را بسیار دشوار کرده یا نتایج را تحت تاثیر قرار می دهد

باید برای اینها فکر درستی بشود. مثلا:

رکورد مربوطه حذف شود

به جای آن مقداری ثابت، میانگین مقادیر، میانگین نمونه های مشابه یا محتملترین مقدار جایگزین شود

این جایگزینی ممکن است با استفاده از رگرسیون یا سایر روشهای متداول صورت گیرد

پاکسازی داده ها

داده های مزاحم

انحرافی تصادفی یا غیرتصادفی در یک متغیر اندازه گیری شده هستند

به عنوان مثال می توانند نتیجه خطای اندازه گیری یا یک اثر پنهان باشند

داده های مزاحم باید بررسی و خوب شناسایی شوند و در مورد آنها تصمیمگیری شود

راه حل: باید هموارسازی داده ها اتفاق بیافتد

خوشه بندی و برازش یک تابع رگرسیونی به داده ها از جمله راه های هموارسازی هستند

توجه: بسیاری از روشهای هموارسازی داده ها، روشهایی برای تلخیص داده ها محسوب می شوند

پاکسازی داده ها

داده های ناپایدار

این داده ها شامل تغییراتی بی قاعده هستند که تحلیل را دچار مشکل می کنند

برخی را می شود با تبدیل مناسب حل کرد

برای تحلیل برخی باید روشهای خاصی را به کار برد

مانند: تغییرات نرخ ارز

یکپارچه سازی داده ها

از آنجا که داده ها از جاهای مختلف گردآوری می شوند ممکن است دارای ناسازگاری هایی باشند. مانند:

تفاوت در مقیاس یا خصیصه های مختلف

باید داده ها به گونه ای یکپارچه شوند که کمترین تفاوت را با هم داشته باشند

همچنین باید از ورود خصایص مشابه یا تکراری در تحلیل داده ها پرهیز شود

برخی از خصایص زائد را می توان از طریق تحلیل همبستگی کشف کرد

همبستگی بین دو متغیر به این معنی است که می توان اطلاعات یکی را از دیگری به دست آورد

بنابراین حضور هر دوی این خصیصه ها لزومی ندارد

تبدیل داده ها

گاهی برای خلاصه سازی یا به کارگیری روشهای تحلیل داده ها، لازم است داده ها را به شکلی مناسب برای تحلیل تبدیل کنیم

هموارسازی

انبوهش

تعمیم داده ها

نرمال سازی داده ها

هموارسازی

برای حذف افت و خیز شدید در داده ها از تکنیکهای هموارسازی استفاده می شود. مانند:

خوشه بندی

رگرسیون

 انبوهش

نوعی خلاصه سازی است که با عملیات جبری روی برخی مقادیر و به دست آوردن مقادیر کلی تر اجرا می شود

به عنوان مثال: مقادیر فروش روزانه می توانند به صورت مقادیر ماهانه یا سالانه انباشته شوند

تعمیم داده ها

با استفاده از سلسله مراتب مفاهیم، داده های ابتدایی یا سطح پایین مانند سن به وسیله مفاهیم سطح بالاتر مانند جوان، میانسال و کهنسال جایگزین می شوند

 نرمال سازی داده ها

داده ها به نحوی مقیاس بندی می شوند که داخل یک محدوده مشخص و کوچک قرار گیرند

تلخیص داده ها

برای کاهش داده ها از تکنیکهایی مانند کاهش بعد، فشرده سازی و مجزاسازی داده ها استفاده می شود.

بر گرفته از مطالب کلاسی درس داده کاوی دکتر محسن حاجی زین العابدینی