در داده کاوی برای اینکه بتوان روی داده ها پردازش انجام داده باید روی آن ها یک سری عملیات انجام داد تا داده ها به صورت یک دست در آیند چون داده ها از منابع مختلف جمع آوری می شوند با هم تفاوت دارند به این کار که داده ها را به صورت یک دست در می آورد فرایند پیش پردازش می گویند که در زیر به آن پرداخته می شود:پیش پردازش، داده های خام و سیگنالها را طی چند عملیات متوالی به داده هایی مناسب جهت استفاده تبدیل می کند. هدف از پیش پردازش داده ها موارد زیر است:کاهش اندازه فضای ورودیروابط هموارترنرمال سازی داده هاکاهش نویزاستخراج ویژگی روشهای پیشپردازش دادههاپاکسازی داده هامقادیر گمشدهداده های مزاحمداده های ناپایداریکپارچه سازی داده هاتبدیل داده هاهموارسازیانبوهشتعمیم داده هانرمال سازی داده هاتلخیص داده هاتوضیح مباحث پیش پردازش داده هاپاکسازی داده هامقادیر گمشده: داده هایی هستند که به هر دلیلی در هنگام تحلیل داده ها در اختیار تحلیل گر قرار ندارندفقدان این داده ها تحلیل را بسیار دشوار کرده یا نتایج را تحت تاثیر قرار می دهدباید برای اینها فکر درستی بشود. مثلا:رکورد مربوطه حذف شودبه جای آن مقداری ثابت، میانگین مقادیر، میانگین نمونه های مشابه یا محتملترین مقدار جایگزین شوداین جایگزینی ممکن است با استفاده از رگرسیون یا سایر روشهای متداول صورت گیردپاکسازی داده هاداده های مزاحمانحرافی تصادفی یا غیرتصادفی در یک متغیر اندازه گیری شده هستندبه عنوان مثال می توانند نتیجه خطای اندازه گیری یا یک اثر پنهان باشندداده های مزاحم باید بررسی و خوب شناسایی شوند و در مورد آنها تصمیمگیری شودراه حل: باید هموارسازی داده ها اتفاق بیافتدخوشه بندی و برازش یک تابع رگرسیونی به داده ها از جمله راه های هموارسازی هستندتوجادامه مطلب

تعریف داده کاوی:فراید استخراج اطلاعات، معتبر، از پیش شناخته، قابل فهم و قابل اعتماداز پایگاه دادههای بزرگ و استفاده از آن در تصمیم گیری در فعالیتهای تجاریمهم (رومر، 2007)داده کاوی یعنی استخراج دانش ادامه مطلب

مالی که ز تو کس نستاند، علم است
حرزی که تو را به حق رساند، علم است

جز علم طلب مکن تو اندر عالم
چیزی که تو را ز غم رهاند، علم است

فراید استراج اطلاعات، معتبر، از پیش شناخته، قابل فهم و قابل اعتماداز پایگاه دادههای بزرگ و استفاده از آن در تصمیم گیری در فعالیتهای تجاریمهم (رومر، 2007)

داده کاوی یعنی استخراج دانش کلان،قابل استناد و جدید از پایگاه دادههای بزرگ (شافر، 1996)