Подходы+к+измерению+информации

Важным вопросом является измерение количества информации. Как понять, сколько информации мы получили в том или ином сообщении?
====Разные люди, получившие одно и то же сообщение, по-разному оценивают его информационную ёмкость, то есть количество информации, содержащееся в нем. Это происходит оттого, что знания людей о событиях, явлениях, о которых идет речь в сообщении, //до получения// сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, могут сказать, что информации не получили вовсе. //Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя**.**//==== ====В таком случае, количество информации в одном и том же сообщении должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. При этом нельзя объективно оценить количество информации, содержащейся даже в простом сообщении. Поэтому, когда информация рассматривается как новизна сообщения для получателя (бытовой подход), не ставится вопрос об измерении количества информации.====

Чаще всего применяются два подхода к измерению информации:

 * ====содержательный или вероятностный (т.е. количество информации зависит от ее содержания).====
 * ====алфавитный(т.е. количество информации зависит от последовательности знаков);====

Содержательный подход.
====В //содержательном подходе// возможна качественная оценка информации: новая, срочная, важная и т.д. Согласно Шеннону, информативность сообщения характеризуется содержащейся в нем полезной информацией - той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации. Неопределенность некоторого события - это количество возможных исходов данного события. Так, например, неопределенность погоды на завтра обычно заключается в диапазоне температуры воздуха и возможности выпадения осадков. Содержательный подход часто называют //субъективным//, так как разные люди (субъекты) информацию об одном и том же предмете оценивают по-разному. Но если число исходов не зависит от суждений людей (случай бросания кубика или монеты), то информация о наступлении одного из возможных исходов является объективной.====

Алфавитный подход.
====//Алфавитный подход// основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого //алфавита//. Носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера. Согласно Колмогорову, информативность последовательности символов не зависит от содержания сообщения, а определяется минимально необходимым количеством символов для ее кодирования. Алфавитный подход является //объективным//, т.е. он не зависит от субъекта, воспринимающего сообщение. Смысл сообщения учитывается на этапе выбора алфавита кодирования либо не учитывается вообще. На первый взгляд определения Шеннона и Колмогорова кажутся разными, тем не менее, они хорошо согласуются при выборе единиц измерения.==== ====Алфавитный (объемный) подход применяется в технике, где информацией считается любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, сигналов.Этот подход основан на //подсчете числа символов в сообщении,// то есть связан только с длиной сообщения и не учитывает его содержания. Но длина сообщения зависит не только от содержащейся в нем информации. На нее влияет мощность алфавита используемого языка.====

Полное количество символов алфавита называется **мощностью алфавита****//.//**
====Чем меньше знаков в используемом алфавите, тем длиннее сообщение. Так, например, в алфавите азбуки Морзе всего три знака (точка, тире, пауза), поэтому для кодирования каждой русской или латинской буквы нужно использовать несколько знаков, и текст, закодированный по Морзе, будет намного длиннее, чем при обычной записи.====