Machine Learning Evaluation

Akurasi Klasifikasi

   Akurasi klasifikasi adalah pembagian dari jumlah prediksi benar terhadap jumlah total prediksi. Akurasi bisa saja “menyesatkan”, dalam kasus dimana ketidakseimbangan kelas yang besar (large class imbalance). Model klasifikasi dapat memprediksi nilai pada kelas terbesar untuk semua prediksi dan bisa memberikan nilai akurasi yang tinggi dan tentu saja model yang dihasilkan dapat memprediksikan nilai yang salah, sehingga perlu metrik evaluasi lain yang dapat mengukur performa model klasifikasi yang kita buat. Metrik yang dimaksudkan adalah Precision, Recall dan Confusion Matrix.

Confusion Matrix

  Confusion Matrix merepresentasikan prediksi dan kondisi sebenarnya(aktual) dari data yang dihasilkan oleh algoritma ML. Berdasarkan Confusion Matrix, kita bisa menentukan Precision dan Recall.

Recall

    Recall dapat didefinisikan sebagai rasio dari jumlah total contoh positif yang diklasifikasikan bernilai benar dibagi dengan jumlah total contoh positif. High Recall menunjukkan kelas dikenali dengan baik (FN rendah).

Precision

   Precision merupakan pembagian dari jumlah total contoh positif yang diklasifikasikan bernilai benar dengan jumlah total contoh positif yang diprediksi. High Precision menunjukkan contoh berlabel positif memang positif (FP rendah).

High Recall, Low Precision

Ini berarti sebagian besar data positif dikenali dengan baik (FN rendah) tetapi ada banyak False Positive (FP tinggi).

Low Recall, High Precision

Model dapat mengklasifikasikan lebih sedikit data bernilai positif (FN tinggi) tetapi model mengklasifikasikan data positif benar-benar bernilai positif (FP rendah)