Единицы измерения информации

В настоящее время наиболее известны следующие способы измерения информации: объемный, энтропийный, алгоритмический.
Объемный способ измерения информации является простым и грубым способом измерения информации. Соответствующее количественную оценку информации естественно назвать объемом информации.


Объем информации в сообщении - это количество символов в сообщении. Так, например, то же число может быть записано различными способами (с использованием разных алфавитов): «двадцать один», 21; 11001; XXI, то этот способ чувствителен к форме представления (записи) сообщения.
В вычислительной технике обрабатываемая и хранимая информация вне зависимости от ее природы (число, текст, отражение) представлена ??в двоичной форме (с использованием алфавита, что составляет всего из двух символов - О и 1). Такая стандартизация позволила ввести две стандартные единицы измерения: бит и байт. Байт - это восемь бит.


• 1 Килобайт (Кбайт) = 1024 байт = 210 байт,
• 1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт,
• 1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт.
В последнее время в связи с увеличением объемов обрабатываемой информации входят в употребление такие производные единицы, как:


• 1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт,
• 1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт.

В теории информации и кодирования принят «энтропийный» подход к измерению информации. Этот способ исходит из следующей модели. Получатель информации (сообщения) имеет определенные представления о возможных наступления некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая степень неопределенности (энтропия) характеризуется некоторой математической зависимостью от совокупности этих вероятностей. Количество информации в сообщении определяется тем, насколько уменьшится эта мера после получения уведомления.


В алгоритмическом теории информации (раздел теории алгоритмов) предлагается алгоритмический метод оценки информации в сообщении. Этот метод заключается в том, что любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, что позволяет ее сделать.


Существует много различных вычислительных машин и различных языков программирования (различных способов задания алгоритма), и поэтому для определенности задаются некоторой конкретной вычислительной машиной. Предполагаемая количественная характеристика - сложность слова (сообщения) определяется как минимальное число внутренних состояний вычислительной машины, которые требуются для его воспроизведения. В алгоритмическом теории информации также используются и другие способы задания сложности.