Teori informasi
Secara khusus, teori informasi adalah cabang dari matematika peluang dan statistik, yang berkaitan dengan konsep informasi dan entropi informasi seperti telah dijelaskan di atas. Claude Shannon (1916-2001) dikenal sebagai "bapak dari teori informasi". Shannon mendefinisikan pengukuran dari entropi informasi (dalam bit) sebagai: