Подобно тому, как энтропия является мерой дезорганизации, информация, передаваемая набором сообщений, является мерой организации. Фактически, можно интерпретировать информацию, содержащуюся сообщением как по существу отрицательную его энтропию, и отрицательный логарифм ее вероятности. То есть, чем более вероятным сообщением, тем меньше информации оно дает. Клише, например, менее освещающие, чем великие стихи.