Konsep entropi informasi menyiratkan logaritma negatif dari fungsi massa probabilitas untuk suatu nilai. Jadi, ketika sumber data memiliki nilai dengan probabilitas yang lebih rendah (yaitu, ketika suatu peristiwa dengan probabilitas rendah terjadi), peristiwa tersebut membawa lebih banyak "informasi" ("kejutan") daripada ketika data sumber memiliki nilai dengan probabilitas yang lebih tinggi..
Jumlah informasi yang disampaikan oleh setiap peristiwa yang didefinisikan dengan cara ini menjadi variabel acak yang nilai harapannya adalah entropi informasi. Umumnya, entropi mengacu pada ketidakteraturan atau ketidakpastian, dan definisi yang digunakan dalam teori informasi secara langsung analog dengan yang digunakan dalam termodinamika statistik. Konsep IE diperkenalkan oleh Claude Shannon dalam makalahnya tahun 1948 "A Mathematical Theory of Communication". Di sinilah istilah "entropi informasi Shannon" berasal.
Definisi dan sistem
Model dasar sistem transmisi data terdiri dari tiga elemen: sumber data, saluran komunikasi, dan penerima,dan, seperti yang dikatakan Shannon, "masalah komunikasi dasar" adalah agar penerima dapat mengidentifikasi data apa yang dihasilkan oleh sumber berdasarkan sinyal yang diterimanya melalui saluran. Entropi memberikan batasan absolut pada panjang penyandian lossless rata-rata terpendek yang mungkin dari data sumber terkompresi. Jika entropi sumber kurang dari bandwidth saluran komunikasi, data yang dihasilkan dapat ditransmisikan dengan andal ke penerima (setidaknya dalam teori, mungkin mengabaikan beberapa pertimbangan praktis seperti kompleksitas sistem yang diperlukan untuk mengirimkan data. dan jumlah waktu yang diperlukan untuk mengirimkan data).
Entropi informasi biasanya diukur dalam bit (atau disebut "shannons") atau terkadang dalam "satuan alami" (nats) atau tempat desimal (disebut "dits", "bans" atau "hartleys"). Satuan pengukuran tergantung pada basis logaritma, yang digunakan untuk menentukan entropi.
Sifat dan logaritma
Distribusi probabilitas log berguna sebagai ukuran entropi karena merupakan tambahan untuk sumber independen. Misalnya, entropi taruhan yang adil dari sebuah koin adalah 1 bit, sedangkan entropi m-volume adalah m bit. Dalam representasi sederhana, log2(n) bit diperlukan untuk mewakili variabel yang dapat mengambil salah satu dari n nilai jika n adalah pangkat 2. Jika nilai-nilai ini memiliki kemungkinan yang sama, entropi (dalam bit) adalah sama dengan angka tersebut. Jika salah satu nilai lebih mungkin daripada yang lain, pengamatannya adalahmakna terjadi, kurang informatif daripada jika beberapa hasil yang kurang umum akan terjadi. Sebaliknya, peristiwa yang lebih jarang memberikan informasi pelacakan tambahan.
Karena pengamatan kejadian yang kurang mungkin jarang terjadi, tidak ada kesamaan bahwa entropi (dianggap sebagai informasi rata-rata) yang diperoleh dari data yang terdistribusi tidak merata selalu kurang dari atau sama dengan log2(n). Entropi adalah nol ketika satu hasil ditentukan.
Entropi informasi Shannon mengkuantifikasi pertimbangan ini ketika distribusi probabilitas dari data yang mendasarinya diketahui. Arti dari peristiwa yang diamati (makna pesan) tidak relevan dalam definisi entropi. Yang terakhir hanya memperhitungkan kemungkinan melihat peristiwa tertentu, jadi informasi yang dirangkumnya adalah data tentang distribusi kemungkinan yang mendasarinya, bukan tentang makna peristiwa itu sendiri. Sifat-sifat entropi informasi tetap sama seperti yang dijelaskan di atas.
Teori informasi
Ide dasar teori informasi adalah semakin banyak yang diketahui tentang suatu topik, semakin sedikit informasi yang bisa didapatkan tentang topik tersebut. Jika suatu peristiwa sangat mungkin terjadi, tidak mengherankan bila itu terjadi dan karena itu memberikan sedikit informasi baru. Sebaliknya, jika peristiwa itu tidak mungkin, jauh lebih informatif bahwa peristiwa itu terjadi. Oleh karena itu, payload merupakan fungsi peningkatan dari peluang terbalik kejadian (1 / p).
Sekarang jika lebih banyak peristiwa terjadi, entropimengukur konten informasi rata-rata yang dapat Anda harapkan jika salah satu peristiwa terjadi. Ini berarti bahwa pelemparan sebuah dadu memiliki entropi yang lebih besar daripada pelemparan sebuah koin karena setiap hasil kristal memiliki probabilitas yang lebih rendah daripada setiap hasil koin.
Fitur
Jadi, entropi adalah ukuran ketidakpastian suatu keadaan atau, yang sama, kandungan informasi rata-ratanya. Untuk mendapatkan pemahaman intuitif tentang istilah-istilah ini, pertimbangkan contoh jajak pendapat politik. Biasanya jajak pendapat seperti itu terjadi karena hasil pemilu, misalnya, belum diketahui.
Dengan kata lain, hasil survei relatif tidak dapat diprediksi, dan faktanya, pelaksanaan dan pemeriksaan data memberikan beberapa informasi baru; itu hanya cara yang berbeda untuk mengatakan bahwa entropi sebelumnya dari hasil jajak pendapat besar.
Sekarang pertimbangkan kasus di mana jajak pendapat yang sama dilakukan untuk kedua kalinya segera setelah yang pertama. Karena hasil survei pertama sudah diketahui, maka hasil survei kedua dapat diprediksi dengan baik dan hasilnya tidak boleh banyak mengandung informasi baru; dalam hal ini, entropi apriori dari hasil polling kedua kecil dibandingkan dengan polling pertama.
Pelemparan Koin
Sekarang perhatikan contoh melempar koin. Dengan asumsi bahwa probabilitas ekor sama dengan probabilitas kepala, entropi lemparan koin sangat tinggi, karena ini adalah contoh aneh dari entropi informasi suatu sistem.
Ini karenabahwa tidak mungkin untuk memprediksi bahwa hasil dari sebuah koin dilempar sebelumnya: jika kita harus memilih, yang terbaik yang dapat kita lakukan adalah memprediksi bahwa koin akan mendarat di ekor, dan prediksi ini akan benar dengan probabilitas 1/2. Pelemparan koin semacam itu memiliki entropi satu bit, karena ada dua hasil yang mungkin terjadi dengan probabilitas yang sama, dan mempelajari hasil sebenarnya mengandung satu bit informasi.
Sebaliknya, melempar koin menggunakan kedua sisi dengan ekor dan tanpa kepala memiliki entropi nol karena koin akan selalu mendarat di tanda ini dan hasilnya dapat diprediksi dengan sempurna.
Kesimpulan
Jika skema kompresi lossless, artinya Anda selalu dapat memulihkan seluruh pesan asli dengan mendekompresi, maka pesan terkompresi memiliki jumlah informasi yang sama dengan aslinya, tetapi ditransmisikan dalam karakter yang lebih sedikit. Artinya, ia memiliki lebih banyak informasi atau entropi per karakter yang lebih tinggi. Ini berarti bahwa pesan terkompresi memiliki redundansi yang lebih sedikit.
Secara kasar, teorema pengkodean kode sumber Shannon menyatakan bahwa skema kompresi lossless tidak dapat mengurangi pesan rata-rata untuk memiliki lebih dari satu bit informasi per bit pesan, tetapi nilai apa pun yang kurang dari satu bit informasi per bit dapat dicapai.pesan menggunakan skema pengkodean yang sesuai. Entropi pesan dalam bit kali panjangnya adalah ukuran seberapa banyak informasi umum yang dikandungnya.
