Categorical crossentropy adalah fungsi loss yang digunakan dalam tugas klasifikasi multi-kelas. Ini adalah tugas di mana sebuah contoh hanya dapat dimiliki oleh satu dari banyak kategori yang mungkin, dan model harus memutuskan yang mana. Secara formal, dirancang untuk mengukur perbedaan antara dua distribusi probabilitas.
Mengapa menggunakan cross entropy daripada MSE?
Pertama, Cross-entropy (atau softmax loss, tetapi cross-entropy bekerja lebih baik) adalah ukuran yang lebih baik daripada MSE untuk klasifikasi, karena batas keputusan dalam tugas klasifikasi besar(dibandingkan dengan regresi). … Untuk masalah regresi, Anda hampir selalu menggunakan MSE.
Apa perbedaan antara entropi silang jarang dan entropi silang kategoris?
Satu-satunya perbedaan antara entropi silang kategoris jarang dan entropi silang kategoris adalah format label sebenarnya. Ketika kita memiliki masalah klasifikasi berlabel tunggal dan multi-kelas, label tersebut saling eksklusif untuk setiap data, artinya setiap entri data hanya dapat dimiliki oleh satu kelas.
Bagaimana Anda menginterpretasikan kehilangan entropi silang kategorikal?
Entropi silang meningkat karena probabilitas prediksi sampel menyimpang dari nilai sebenarnya. Oleh karena itu, memprediksi probabilitas 0,05 ketika label sebenarnya memiliki nilai 1 meningkatkan kerugian entropi silang. menunjukkan probabilitas yang diprediksi antara 0 dan 1 untuk sampel tersebut.
Mengapa cross entropy bagus?
Secara keseluruhan, seperti yang dapat kita lihat, cross-entropy hanyalah sebuah cara untuk mengukur probabilitas sebuah model. Entropi silang berguna karena dapat menggambarkan seberapa besar kemungkinan model dan fungsi kesalahan setiap titik data. Ini juga dapat digunakan untuk menggambarkan hasil yang diprediksi dibandingkan dengan hasil yang sebenarnya.
