Algoritma AdaBoost: Pengertian, Cara Kerja, dan Kegunaannya

Boosting merupakan teknik ensemble modeling yang pertama kali diperkenalkan oleh Freund dan Schapire pada tahun 1997.

Sejak itu, Boosting telah menjadi teknik yang umum digunakan untuk menangani masalah klasifikasi biner. Algoritma-algoritma ini meningkatkan kemampuan prediksi dengan mengubah sejumlah weak learner menjadi strong learner.

Prinsip di balik algoritma boosting adalah kita pertama-tama membangun sebuah model pada dataset training, kemudian membangun model kedua untuk memperbaiki kesalahan yang ada pada model pertama.

Prosedur ini dilanjutkan hingga kesalahan dapat diminimalkan dan dataset dapat diprediksi dengan benar. Algoritma-algoritma boosting bekerja dengan cara yang serupa, yaitu menggabungkan beberapa model (weak learner) untuk mencapai output akhir (strong learner).

Pada artikel ini kita akan fokus mempelajari mengenai salah satu algoritma boosting, yakni AdaBoost. Apa itu algoritma AdaBoost? Yuk, kita simak artikel berikut!

Daftar Isi

Pengertian Algoritma AdaBoost

Algoritma AdaBoost, singkatan dari Adaptive Boosting, adalah sebuah teknik Boosting yang digunakan sebagai metode ensemble dalam machine learning.

Algoritma AdaBoost: Pengertian, Cara Kerja, dan Kegunaannya

Algoritma ini disebut Adaptive Boosting karena bobot diberikan ulang pada setiap instance, dengan bobot yang lebih tinggi diberikan pada instance yang salah diklasifikasikan.

Boosting digunakan untuk mengurangi bias serta variasi dalam supervised learning. Algoritma ini banyak digunakan dalam berbagai aplikasi, termasuk computer vision, pengolahan bahasa alami (natural language processing/NLP), deteksi penipuan (fraud detection), dan banyak lagi.

Algoritma Adaboost bekerja dengan cara secara iteratif melatih weak learners, seperti decision tree atau model linear, pada sebuah dataset dan memberikan bobot pada setiap instance training berdasarkan kesalahan klasifikasinya.

Salah satu keunggulan utama dari Adaboost adalah kemampuannya dalam mengatasi data yang kompleks dan interaksi antar fitur. Ia juga dapat mencegah overfitting dengan menggunakan kombinasi terbobot dari weak learners.

Selain itu, Adaboost telah terbukti memiliki akurasi yang tinggi dan relatif mudah untuk diimplementasikan.

Cara Kerja Algoritma AdaBoost

Algoritma AdaBoost bersifat iteratif atau berulang. Cara kerja algoritma ini dimulai dengan melatih sebuah weak classifier pada data pelatihan.

Sumber: pub.towardsai.net

Weak classifier kemudian diberi bobot berdasarkan performanya. Selanjutnya, algoritma melatih weak classifier kedua menggunakan data yang telah diberi bobot.

Weak classifier kedua kemudian diberi bobot berdasarkan performanya. Proses ini diulang sejumlah iterasi tertentu atau hingga tingkat kesalahan berada di bawah ambang batas yang ditentukan.

Classifier akhir adalah rata-rata terbobot dari semua weak classifiers. Bobot ditentukan berdasarkan tingkat kesalahan dari masing-masing weak classifier. Semakin rendah tingkat kesalahan, semakin tinggi bobotnya.

Secara runtun, cara kerja algoritma ini dapat dijabarkan sebagai berikut:

Inisialisasi bobot sampel pelatihan
Langkah pertama adalah memberikan bobot yang sama pada semua sampel pelatihan. Bobot ini digunakan untuk memberikan penekanan pada contoh-contoh yang salah diklasifikasikan pada iterasi-iterasi berikutnya.
Melatih weak classifier
Weak classifier dilatih pada data pelatihan yang telah diberi bobot pada setiap iterasi. Tujuan dari weak classifier adalah untuk mengklasifikasikan sampel sebagai positif atau negatif. Ada beberapa jenis weak classifier yang dapat digunakan, seperti decision tree, model linear, atau support vector machine.
Evaluasi performa weak classifier
Setelah weak classifier dilatih, performanya dievaluasi pada data pelatihan. Sampel-sampel yang salah diklasifikasikan diberikan bobot yang lebih tinggi untuk memberi prioritas pada iterasi berikutnya.
Memperbarui bobot sampel pelatihan
Bobot sampel pelatihan diperbarui berdasarkan klasifikasinya oleh weak classifier. Bobot sampel yang salah diklasifikasikan ditingkatkan, sedangkan bobot sampel yang benar diklasifikasikan dikurangi. Hal ini memastikan bahwa weak classifier fokus pada sampel yang lebih sulit.
Ulangi langkah 2-4 sesuai jumlah iterasi yang ditentukan
Langkah-langkah sebelumnya diulang sesuai jumlah iterasi yang ditentukan, atau hingga mencapai ambang batas tertentu. Bobot sampel pelatihan disesuaikan pada setiap iterasi untuk memberi prioritas pada sampel yang salah diklasifikasikan dan belajar dari kesalahan yang dilakukan oleh weak classifier.
Menggabungkan weak classifier menjadi sebuah model yang kuat
Setelah jumlah iterasi yang ditentukan, weak classifier digabungkan menjadi sebuah model yang kuat menggunakan jumlah tertimbang dari keluaran mereka. Model akhir dapat melakukan prediksi yang akurat pada data baru yang tidak terlihat sebelumnya.

Dari penjabaran di atas, jumlah iterasi dan pemilihan weak classifier adalah hyperparameter yang dapat disesuaikan pada algoritma AdaBoost untuk meningkatkan performa model.

Adaboost dapat secara signifikan meningkatkan akurasi dari model machine learning, terutama dalam tugas-tugas yang kompleks di mana hubungan antara fitur-fitur input dan variabel output tidak sederhana.

Kelebihan Algoritma AdaBoost

Berikut beberapa kelebihan algoritma AdaBoost:

Meningkatkan performa prediksi
Adaboost dapat secara signifikan meningkatkan akurasi prediksi dalam pemodelan machine learning. Dengan menggabungkan weak learners menjadi strong learner, Adaboost dapat mengatasi kesalahan klasifikasi dan meningkatkan kemampuan prediksi model.
Penanganan data yang kompleks
Adaboost efektif dalam menangani data yang kompleks dan memiliki interaksi fitur yang rumit. Dalam kasus di mana hubungan antara fitur-fitur input dan variabel output tidak sederhana, Adaboost dapat menangkap pola yang lebih kompleks daripada weak learners individu.
Mencegah overfitting
Dengan memberikan bobot pada contoh-contoh yang salah diklasifikasikan, Adaboost dapat mengurangi risiko overfitting. Hal ini membantu model untuk tidak terlalu fokus pada contoh-contoh pelatihan yang sulit dan memperbaiki generalisasi pada data uji.

Kelemahan Algoritma AdaBoost

Algoritma Adaboost juga memiliki kelemahan seperti:

Sensitif terhadap noise
Adaboost cenderung sensitif terhadap data yang mengandung noise atau outlier. Kehadiran contoh-contoh yang tidak representatif atau gangguan dapat mempengaruhi pembelajaran dan menghasilkan model yang kurang akurat.
Risiko overfitting pada data pelatihan yang kecil
Jika dataset pelatihan sangat kecil, terdapat risiko overfitting pada Adaboost. Model yang terlalu kompleks dapat dengan mudah "menghafal" contoh-contoh pelatihan dan gagal dalam generalisasi pada data baru.
Waktu pelatihan yang lebih lama
Adaboost melibatkan iterasi berulang untuk melatih weak learners dan memperbarui bobot contoh-contoh pelatihan. Oleh karena itu, waktu pelatihan algoritma ini cenderung lebih lama dibandingkan dengan beberapa algoritma machine learning lainnya.

Kegunaan Algoritma AdaBoost

Algoritma Adaboost memiliki berbagai kegunaan dan dapat diterapkan dalam berbagai aplikasi dalam bidang machine learning. Beberapa kegunaan dan aplikasi utama dari algoritma Adaboost adalah sebagai berikut:

1. Klasifikasi

Adaboost sering digunakan dalam tugas klasifikasi untuk mengatasi masalah klasifikasi biner. Ini dapat digunakan untuk memprediksi kategori atau label dari data yang diberikan. Contohnya termasuk klasifikasi email sebagai spam atau bukan spam, deteksi wajah pada gambar, atau klasifikasi medis seperti diagnosis penyakit.

2. Deteksi objek

Algoritma Adaboost sering digunakan dalam aplikasi visi komputer untuk mendeteksi objek dalam gambar atau video. Dalam hal ini, adaboost dapat dipakai dalam pengenalan wajah, deteksi kendaraan, atau identifikasi objek lainnya dalam citra.

3. Pemrosesan bahasa alami (NLP)

Adaboost juga dapat diterapkan dalam tugas pemrosesan bahasa alami. Contohnya termasuk klasifikasi teks, pengenalan entitas bernama, deteksi sentimen, atau klasifikasi topik.

4. Deteksi penipuan

Algoritma Adaboost dapat digunakan dalam sistem deteksi penipuan untuk mengenali pola-pola penipuan dalam data transaksi.

Contohnya dapat diterapkan dalam sektor keuangan, perdagangan elektronik, atau asuransi untuk mendeteksi aktivitas penipuan seperti penipuan kartu kredit atau penipuan klaim asuransi.

5. Sistem rekomendasi

Adaboost juga dapat digunakan dalam sistem rekomendasi untuk memberikan rekomendasi yang personal kepada pengguna berdasarkan preferensi mereka. Contohnya dapat digunakan dalam aplikasi e-commerce, streaming musik, atau platform media sosial.

Penutup

Sebagai rangkuman, Adaboost adalah algoritma boosting yang digunakan dalam machine learning untuk meningkatkan performa prediksi. Kelebihannya dapat meningkatkan akurasi, penanganan data kompleks, dan mencegah overfitting. Adaboost memiliki berbagai aplikasi dalam klasifikasi, deteksi objek, pemrosesan bahasa alami, deteksi penipuan, dan sistem rekomendasi. Namun, algoritma ini juga sensitif terhadap noise dan membutuhkan waktu pelatihan yang lebih lama.

Demikianlah artikel singkat mengenai algoritma AdaBoost. Semoga informasi yang disajikan dapat bermanfaat dan menambah khazanah pengetahuan kita.

Salam!

Referensi:

Trivusi