Lompat ke konten Lompat ke sidebar Lompat ke footer

Metode-Metode dalam Feature Selection

Feature selection atau seleksi fitur adalah salah satu teknik terpenting dan sering digunakan dalam pre-processing. Teknik ini mengurangi jumlah fitur yang terlibat untuk menentukan suatu nilai kelas target dengan mengurangi fitur yang tidak relevan dan data berlebih. Tujuan utama dari seleksi fitur ialah memilih fitur terbaik dari suatu kumpulan data fitur.


Daftar Isi

Metode-Metode Feature Selection

Metode feature selection dibagi menjadi tiga kelompok: filter, wrapper, dan embedded selector.

Metode Filter 

Metode filter mengevaluasi setiap fitur secara bebas dari classifier kemudian memberikan peringkat pada fitur setelah mengevaluasi dan mengambil yang unggul. 

Metode filter menerapkan ukuran statistik untuk menetapkan skor untuk setiap fitur. Fitur-fitur tersebut diberi peringkat berdasarkan skor dan dipilih untuk disimpan atau dihapus dari dataset. Metode ini sering bersifat univariat dan mempertimbangkan fitur secara mandiri, atau berkaitan dengan variabel dependen.


Gambar alur metode filters

Metode filter bergantung pada keunikan umum dari data yang akan dievaluasi dan memilih subset fitur. Metode filter menggunakan kriteria penilaian yang mencakup jarak, informasi, ketergantungan, dan konsistensi. Metode filter menggunakan kriteria utama teknik pemeringkatan dan menggunakan urutan peringkat untuk pemilihan variabel.

Alasan untuk menggunakan metode pemeringkatan adalah kesederhanaan, menghasilkan fitur yang sangat baik dan relevan. Metode pemeringkatan akan menyaring fitur yang tidak relevan sebelum proses klasifikasi dimulai.

Metode filter umumnya digunakan sebagai langkah preprocessing data. Penentuan dan pemilihan fitur tidak tergantung pada algoritma Machine Learning apa pun. Fitur memberi peringkat berdasarkan skor statistik yang cenderung menentukan korelasi fitur dengan variabel hasil. Korelasi adalah istilah yang sangat kontekstual, dan bervariasi dari satu tugas ke tugas lainnya.

Metode Wrapper

Metode wrapper membutuhkan satu algoritma Machine Learning dan menggunakan kinerjanya sebagai kriteria evaluasi. Metode ini mencari fitur yang paling cocok untuk algoritma Machine Learning dan bertujuan untuk meningkatkan kinerja mining. Untuk mengevaluasi fitur, akurasi prediktif digunakan untuk tugas klasifikasi.

Alur dari metode wrapper dapat dilihat pada gambar berikut

Metode wrapper didasarkan pada algoritma pencarian greedy karena metode ini mengevaluasi semua kemungkinan kombinasi fitur dan memilih kombinasi yang menghasilkan hasil terbaik. Kelemahan dari pendekatan ini adalah pengujian semua kemungkinan kombinasi fitur dapat menjadi sangat mahal secara komputasi, terutama jika himpunan fitur sangat besar.

Metode wrapper untuk pemilihan fitur dapat dibagi menjadi tiga kategori: step forward feature selection, step backwards feature selection dan exhaustive feature selection 

Step forward feature selection

Prosedur dimulai dengan seperangkat fitur kosong. Fitur asli terbaik ditentukan dan ditambahkan ke himpunan data yang lebih kecil. Pada setiap iterasi berikutnya, atribut asli yang tersisa ditambahkan ke himpunan.

Pada fase pertama dari step forward feature selection, kinerja classifier dievaluasi sehubungan dengan masing-masing fitur. Fitur yang berkinerja terbaik dipilih dari semua fitur.

Pada langkah kedua, fitur pertama dicoba dikombinasikan dengan semua fitur lainnya. Kombinasi dari dua fitur yang menghasilkan kinerja algoritma terbaik dipilih. Proses berlanjut sampai jumlah tertentu fitur dipilih.

Step backward feature selection

Step backward feature selection, seperti namanya adalah kebalikan dari step forward feature selection. Langkah pertama dari step backward feature selection, satu fitur dihilangkan dengan cara round-robin dari himpunan fitur dan kinerja dari classifier dievaluasi. Himpunan fitur yang menghasilkan kinerja terbaik dipertahankan.

Pada langkah kedua, satu fitur kembali dihapus dengan cara round-robin dan kinerja semua kombinasi fitur dilakukan evaluasi. Proses ini berlanjut hingga jumlah fitur yang ditentukan ada dalam dataset.

Exhaustive feature selection

Dalam exhaustive feature selection, kinerja algoritma Machine Learning dievaluasi terhadap semua kemungkinan kombinasi fitur dalam dataset. Subset fitur yang menghasilkan kinerja terbaik dipilih. Algoritma pencarian lengkap adalah algoritma yang paling greedy dari semua metode wrapper karena mencoba semua kombinasi fitur dan memilih yang terbaik.

Kelemahan dari kategori ini adalah cenderung lebih lambat dibandingkan dengan dua metode sebelumnya karena mengevaluasi semua kombinasi fitur.

Itulah tadi metode-metode yang ada dalam seleksi fitur (feature selection). Semoga bermanfaat 

Trivusi
Trivusi Ikatlah ilmu dengan menulis. Menebar manfaat dengan berbagi :)

Posting Komentar untuk "Metode-Metode dalam Feature Selection"