Lompat ke konten Lompat ke sidebar Lompat ke footer

Metriks Evaluasi Sistem Menggunakan Confusion Matrix

Mengukur kinerja suatu model yang telah dibuat merupakan langkah penting dalam bidang Machine Learning dan Natural Language Processing. Hasil pengukuran yang dilakukan dapat menjadi pertimbangan dalam memilih model terbaik.

Metriks Evaluasi Sistem Menggunakan Confusion Matrix

Salah satu teknik yang dapat digunakan untuk mengukur kinerja suatu model khususnya sistem klasifikasi (misalnya: analisis sentimen) adalah Confusion Matrix.

Daftar Isi

Pengertian Confusion Matrix

Confusion Matrix merupakan metode evaluasi yang dapat digunakan untuk menghitung kinerja atau tingkat kebenaran dari proses klasifikasi.

Confusion Matrix adalah tabel dengan 4 kombinasi berbeda dari nilai prediksi dan nilai aktual.

Ada empat istilah yang merupakan representasi hasil proses klasifikasi pada Confusion Matrix yaitu True Positive (TP), True Negative (TN), False Positive (FP), dan False Negative (FN).

Confusion Matrix dapat dilihat pada tabel di bawah

Prediksi
Positif Negatif
Aktual
Positif TP FN
Negatif FP TN

Keterangan :

  • TP (True Positive) ialah jumlah data yang kelas aktual dan prediksinya merupakan kelas positif
  • FN (False Negative) ialah total data yang kelas aktualnya merupakan kelas positif sedangkan kelas prediksinya merupakan kelas negatif.
  • FP (False Positive) ialah banyaknya data yang kelas aktualnya merupakan kelas negatif sedangkan kelas prediksinya merupakan kelas positif.
  • TN (True Negative) ialah banyaknya data yang kelas aktualnya merupakan kelas negatif sedangkan elas prediksinya merupakan kelas negatif
Untuk evaluasi pada sistem klasifikasi dengan multiclass, confusion matrix juga bisa digunakan, namun dengan beberapa ketentuan tambahan.

Tidak jauh berbeda dengan klasifikasi biner, multiclass confusion matrix juga memiliki elemen TP (True Positive), FN (False Negative), FP (False Positive), dan TN (True Negative).

Prediksi
Positif Negatif Netral
Aktual
Positif TPos FPosNeg FPosNet
Negatif FNegPos TNeg FNegNet
Netral FNetPos FNetNeg TNet

Berikut adalah ketentuan dalam menetapkan nilai elemen tersebut:

  • TP (True Positive) merupakan banyaknya data yang kelas aktualnya sama dengan kelas prediksinya.
  • FN (False Negative) merupakan total dari seluruh baris yang ditunjuk kecuali TP yang dicari.
  • FP (False Positive) merupakan total dari seluruh kolom yang ditunjuk kecuali TP yang dicari.
  • TN (True Negative) merupakan total dari seluruh kolom dan baris selain yang ditunjuk.

Evaluasi Sistem Menggunakan Confusion Matrix

Dengan dasar tabel Confusion Matrix kemudian dapat dilakukan penghitungan nilai akurasi, presicion, dan recall.

Ketiga metriks tersebut sangat bermanfaat untuk mengukur performa dari classifier atau algoritma yang digunakan untuk melakukan prediksi.

Akurasi

Akurasi merupakan metode pengujian berdasarkan tingkat kedekatan antara nilai prediksi dengan nilai aktual. Dengan mengetahui jumlah data yang diklasifikasikan secara benar maka dapat diketahui akurasi hasil prediksi.

Persamaan akurasi ditunjukkan pada persamaan berikut.

persamaan akurasi confusion matrix

Precision

Presisi merupakan metode pengujian dengan melakukan perbandingan jumlah informasi relevan yang didapatkan sistem dengan jumlah seluruh informasi yang terambil oleh sistem baik yang relevan maupun tidak. 

Persamaan precision ditunjukkan pada persamaan berikut.

Recall

Recall merupakan metode pengujian yang membandingkan jumlah informasi relevan yang didapatkan sistem dengan jumlah seluruh informasi relevan yang ada dalam koleksi informasi (baik yang terambil atau tidak terambil oleh sistem).

Persamaan recall ditunjukkan pada persamaan berikut.

Trivusi
Trivusi Ikatlah ilmu dengan menulis. Menebar manfaat dengan berbagi :)

Posting Komentar untuk "Metriks Evaluasi Sistem Menggunakan Confusion Matrix"