Perlombongan data

Perlombongan data ialah suatu proses menemukan corak dalam set data besar yang melibatkan persimpangan pembelajaran mesin, statistik dan sistem pangkalan data.^[1] Proses penting ini menggunakan kaedah kecerdasan untuk memperoleh corak data.^[1][2] Ia merupakan subbidang sains komputer yang bersifat antara disiplin.^[1][3][4]

Proses ini bermatlamat memperoleh maklumat daripada set data seterusnya menukarkan maklumat tersebut menjadi suatu struktur yang mudah difahami untuk penggunaan selanjutnya.^[1] Proses perlombongan ini merupakan langkah menganalisis dalam proses penemuan pengetahuan dalam pangkalan data (knowledge discovery in databases, atau KDD).^[5]

Proses

"Proses penemuan pengetahuan dalam pangkalan data" ditakrifkan secara umumnya melalui langkah-langkah berikut:

1. Pemilihan (Selection)
2. Prapemprosesan (Pre-processing)
3. Penukaran (Transformation)
4. Perlombongan data
5. Pentafsiran atau penilaian (Interpretation/evaluation).^[5]

Prapemprosesan

Set data dunia sebenar lazimnya mengandungi pelbagai isu antaranya data tidak lengkap (incomplete data), data hingar (noise data) dan data tidak konsisten. Oleh itu langkah prapemprosesan data perlu dilaksanakan terlebih dahulu sebelum teknik perlombongan data diaplikasikan ke atas data tersebut. Secara umumnya tugas prapemprosesan data boleh dikategorikan kepada empat iaitu:

• Pembersihan data
• Integrasi data
• Transformasi data
• Pengurangan data

Langkah-langkah prapemprosesan data dilaksanakan secara berulang sehingga mencapai output yang dikehendaki dan tidak perlu menuruti jujukan langkah tertentu. Bahkan bukan kesemua langkah tersebut perlu dilaksanakan, sebaliknya ia bergantung kepada kualiti set data yang ingin diproses.

Perlombongan Data

Teknik perlombongan data boleh dikategorikan kepada dua iaitu:

• Deskriptif - digunakan untuk mengesan pola yang menerangkan hubungan di antara atribut-atribut. Dua jenis teknik perlombongan data deskriptif:
  • Pengelompokan (Clustering) - penemuan kelompok dan struktur dalam data yang sedikit sebanyak "serupa" tanpa mengunakan struktur yang diketahui dalam data
  • Petua sekutuan (Association rule) - pencarian hubungan antara pemboleh ubah; sebagai contoh, tabiat pembelian pelangga
• Peramalan - digunakan untuk meramal nilai suatu atribut berdasarkan nilai atribut-atribut yang lain. Dua jenis teknik perlombongan data peramalan:
  • Klasifikasi (Classification) - digunakan untuk meramal atribut diskret
  • Regresi (Regression) - digunakan untuk meramal atribut selanjar