Вероятностный подход к определению количества информации

В последние годы XX века ученые решили добавить слово «информация» вероятностное значение: «мера определенности в сообщении».


Теория информации была вызвана потребностью в ней практики. Ее возникновение связывают с работой Клода Шеннона «Математическая теория связи», выданной § 1946 г. В второй половине XX в. земной шар «гудел * от передаваемой Бегущий по телефонным я телеграфным кабелям и радиоканалам. Позже появились электронные вычислительные машины - обработчики информации. Ранее основной задачей теории информации являлось повышение эффективности функционирования систем связи. Сложность при проектировании и эксплуатации средств, систем и каналов связи в том, что конструктору и инженеру недостаточно решить задачу с физических и энергетических позиций. Важно при создании передающих систем знать, какое количество информации пройдет через эту передающую систему.


Количественный подход - наиболее разработанные области теории информации. Согласно этому определению совокупность 100 букв - фраза из 100 букв из газеты, пьесы Шекспира или теоремы Эйнштейна - имеет в точности одинаковое количество информации.
Такое определение количества информации является полезным и практичным. Оно соответствует задаче инженера связи, который должен передать всю информацию, содержащуюся в поданной телеграмме, вне зависимости от ценности этой информации для адресата. Передающей системе необходимо передать нужное количество информации за определенное время.


Оценка количества информации основывается на законах теории вероятностей, точнее, определяется через вероятности событий.
Сообщение о происшествии, в которой только два одинаково возможных результатах, содержит одну единицу информации, называемую битом. Выбор единицы информации не случаен. Он связан с распространенным двоичным способом ее кодирования при передаче и обработке.
Известно, что количество информации зависит от вероятностей тех или иных исхода событий. Если событие, как говорят ученые, имеет два «равновероятных» результаты, это означает, что вероятность каждого исхода равна 1/2. Такая вероятность выпадения «орла» или «решки» при бросании монеты. Если событие имеет три «равновероятных» результаты, то вероятность каждого равна 1/3. Следует отметить, что сумма вероятностей всех исхода всегда равна единице: ведь какой-нибудь из всех возможных исхода обязательно наступит.


Событие может иметь и «неравновероятные исходы». Так, при футбольном матче между сильной и слабой командами вероятность победы сильной команды велика - например, 4/5. Вероятность ничьей намного меньше, например 3/20. Вероятность же поражения совсем мала.
Количество информации - это мера уменьшения неопределенности некоторой ситуации. Различные количества информации передаются по каналам связи, и количество проходящей информации не может быть больше его пропускной способности. Ее определяют по количеству информации в единицу времени.