There's another statistical property known as Shannon entropy, which even tells you how rich the communications are. Human languages - English, say, or Russian - have Shannon Entropies around the eights or ninth order. That means if I say eight or nine words in one of those languages, you can have a pretty good stab at guessing what the tenth is going to be. Dolphin calls have Shannon entropies in the range of three or four, whereas bird songs are up to seven or eight.

Wikipedia
Клод Шэннон (1916–2001) называется "отцом теории информации". Его теория с самого начала рассматривалась как строго сформулированная математическая задача в статистике и дала инженерам средств передачи информации путь к определению ёмкости коммуникационного канала в терминах количества бит. Передающая часть теории не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие c потерями субъекта сообщения, используя критерий точности.

Отношение к термодинамической энтропии
Информационная энтропия как определено Шенноном и добавлено другими физиками близко соотносится с понятием термодинамической энтропии.