![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Entry tags:
Информация
Как программисту мне все время приходится иметь дело с понятием "информация", вот только обычно я работаю с ним на уровне интуиции. Но интуиция - не всегда хорошо, иногда ведь надо и другому человеку объяснить. И в этот момент можно оказаться в положении "умной собачки, которая все понимает, но сказать не может".
Я давно собирался "поднять" это словечко с уровня интуиции на уровень внятных словесных формулировок, но в реале навалилась куча дел - мама попала в больницу с переломом тазобедренного сустава, женушка затеяла ремонт... в общем, только сейчас появилось время, чтобы посидеть за компьютером.
Я буду перемешивать математические формулы с пояснениями "на нормальном языке", так что надеюсь, что меня поймут и любители формул, и любители объяснений на пальцах.
Насколько я слышал, это слово появилось совсем недавно - к середине XX века. Господа Хартли и Шеннон придумали формулы вычисления количества информации. Есть много вариаций для этих формул, но наиболее практической мне кажется вот такая:
I(X,Y) = Sum[i,j] pij log2(pij / (piqi))
где
pij = P(X = xi & Y = yj)
pi = P(X = xi)
qj = P(Y = yj)
В этой формуле заключено понятие "информация". Объясняя обозначения, дальше я раскрою идею.
Во-первых, есть некая случайная величина X, которая принимает значения x1, x2...xn с вероятностями соответственно p1, p2...pn. Так что pi обозначает "вероятность того, что случайная величина X примет значение xi".
Теперь о том, что это значит на практике. X – это характеристика того, что “содержит” или “несет” информацию.
Носителем информации может быть, например, книга или диск – на них записанное долгое время остается неизменным. Про такие носители информации обычно говорят, что они информацию “хранят”. В отличие от книги или диска, радио-сигнал, распространяющийся с электромагнитными волнами, меняется очень быстро. То же самое можно сказать про электрический ток в проводе, через который вы подключены к Internet. Про такие носители информации обычно говорят, что они “передают” информацию. Разница между “хранит” и “передает” – нестрогая, просто есть некоторый смысловой оттенок: хранит – нечто стабильное и неподвижное, передает – нечто изменчивое и движущееся.
Из формулы следует, что при передаче информации всегда присутствует какой-то носитель информации X, иначе никакой формулы вообще написать нельзя и, соответственно, количество переданной информации будет... никаким.
Иногда мы вполне можем говорить об информации, не упоминая носителя, – но это не значит, что носителя нет, а значит лишь то, что нам в данном случае все равно, какой носитель использовался – например, если меня спрашивают, читал ли я “Гарри Поттера”, тут неважно, читал ли я его в бумажном виде или в электронном.
Что в точности обозначает случайная величина X? Это состояние некоторого носителя информации. Например, это очередная буква или символ в тексте книги. Сколько там может быть вариантов? Столько, сколько разных символов. Алфавит, большие, малые буквы, цифры, пробел, знаки препинания... – все это возможные состояния значения x1, x2...xn.
Когда я читаю незнакомый текст, я не могу знать в точности, какая буква будет следующей, но я могу это предполагать. Например, если я прочел “произнош...”, я могу предположить, что это начало слова “произношение”, и дальше будет буква “е”. Вероятность этого очень велика, так как других подходящих слов нет, и другой символ там окажется только в случае опечатки или сокращения. А дальше – будет буква “н”, потом – “и”, а вот дальше – не так просто, зависит от падежа – может “е”, может “я”, а может “ю”. Соответственно для каждой очередной позиции в тексте есть разные варианты, какая там будет буква или другой символ, и вероятности для каждой буквы или символа.
Вообще говоря, не обязательно рассматривать отдельные буквы, с таким же успехом можно брать целые слова – но, как вы понимаете, тогда вариантов будет больше. Можно брать целые тексты – тогда количество вариантов x1, x2...xn будет астрономическим, но принцип – тот же самый. И таким образом формула Шеннона поможет нам узнать, сколько информации содержится в букве, слове или во всем тексте.
Во-вторых, есть другая случайная величина Y, которая принимает значения y1, y2...ym с вероятностями соответственно q1, q2...qm. Так что qj обозначает "вероятность того, что случайная величина Y примет значение yj".
Если X – характеристика носителя информации, то что характеризует Y? Она характеризует “то, о чем информация”. То есть – суть, смысл, содержание информации. Например, астроном смотрит в телескоп на звезду и видит, как со временем меняется ее яркость. Но астроном видит не саму звезду, а свет от нее. Свет – носитель информации о звезде. Случайная величина X отражает яркость в данный конкретный момент времени. Но астроному важна не сама яркость, а что она может значить. То ли он видит пульсар – звезду, меняющую свои размеры со временем, то ли там двойная звезда, которая становится менее яркой, когда одна звезда прячется за другой, а, может, там крупная палнета, которая время от времени закрывает небольшой фрагмент диска звезды. Соответственно величина Y характеризует возможную суть полученной информации, и в рассмотренном примере есть по крайней мере три варианта: y1, y2, y3 – пульсар, двойная звезда, звезда с планетой. И для каждого варианта есть вероятность qj, которая отражает ожидания астронома насчет того, что же там пульсирует на самом деле.
Опять же, количества информации без смысла информации не бывает... или это вовсе не количество информации – в противном случае что подставлять в формулу? Но может быть ситуация, когда смысл информации неважен.
Обратите внимание, что определение информации я пока не давал. Формула дает определение “количества информации” для “носителя информации” с характеристикой X и “содержания информации” с характеристикой Y. А что же такое просто “информация”? Часто можно услышать, что это – некое интуитивно понятное, но неопределимое понятие. Да бросьте... неужто так сложно дать определение? Кажется правильным, что для того, чтобы назвать нечто информацией, там должно быть ненулевое количество информации... хотя бы потенциально, но чего-то не хватает.
Предлегаю обратить внимание на один ню... анс. Бывают так называемые “отглагольные существительные”. Например, “преступление” – родственно слову “преступать”, “апелляция” – родственно слову “апеллировать”. Суть в том, что существительное обозначает не предмет, а процесс (или и предмет, и процесс). Скажем, апелляция – это и бумажка с текстом апелляции, и ее смысл, и, собственно, процесс ее подачи “кому следует”. И бумажка тут может иметь значение второстепенное по сравнению с самим процессом. Вот слово “информация” – как раз подобное отглагольное существительное. Оно иногда обозначает “носитель информации”, но это второстепенно, а главное – процесс. Соответствующий глагол “информировать”. Если мысленно подставить вместо слова “информация” слово “информирование”, фокус становится яснее.
Ну и вот вам определение:
Информация – это такой процесс, к которому можно применить формулу Шеннона и получить по этой формуле ненулевой результат.
Чего-то подустал... если антересно – могу продолжить (разберу формулу до конца и расскажу, почему не бывает информации без приемника).
Я давно собирался "поднять" это словечко с уровня интуиции на уровень внятных словесных формулировок, но в реале навалилась куча дел - мама попала в больницу с переломом тазобедренного сустава, женушка затеяла ремонт... в общем, только сейчас появилось время, чтобы посидеть за компьютером.
Я буду перемешивать математические формулы с пояснениями "на нормальном языке", так что надеюсь, что меня поймут и любители формул, и любители объяснений на пальцах.
Насколько я слышал, это слово появилось совсем недавно - к середине XX века. Господа Хартли и Шеннон придумали формулы вычисления количества информации. Есть много вариаций для этих формул, но наиболее практической мне кажется вот такая:
I(X,Y) = Sum[i,j] pij log2(pij / (piqi))
где
pij = P(X = xi & Y = yj)
pi = P(X = xi)
qj = P(Y = yj)
В этой формуле заключено понятие "информация". Объясняя обозначения, дальше я раскрою идею.
Во-первых, есть некая случайная величина X, которая принимает значения x1, x2...xn с вероятностями соответственно p1, p2...pn. Так что pi обозначает "вероятность того, что случайная величина X примет значение xi".
Теперь о том, что это значит на практике. X – это характеристика того, что “содержит” или “несет” информацию.
Носителем информации может быть, например, книга или диск – на них записанное долгое время остается неизменным. Про такие носители информации обычно говорят, что они информацию “хранят”. В отличие от книги или диска, радио-сигнал, распространяющийся с электромагнитными волнами, меняется очень быстро. То же самое можно сказать про электрический ток в проводе, через который вы подключены к Internet. Про такие носители информации обычно говорят, что они “передают” информацию. Разница между “хранит” и “передает” – нестрогая, просто есть некоторый смысловой оттенок: хранит – нечто стабильное и неподвижное, передает – нечто изменчивое и движущееся.
Из формулы следует, что при передаче информации всегда присутствует какой-то носитель информации X, иначе никакой формулы вообще написать нельзя и, соответственно, количество переданной информации будет... никаким.
Иногда мы вполне можем говорить об информации, не упоминая носителя, – но это не значит, что носителя нет, а значит лишь то, что нам в данном случае все равно, какой носитель использовался – например, если меня спрашивают, читал ли я “Гарри Поттера”, тут неважно, читал ли я его в бумажном виде или в электронном.
Что в точности обозначает случайная величина X? Это состояние некоторого носителя информации. Например, это очередная буква или символ в тексте книги. Сколько там может быть вариантов? Столько, сколько разных символов. Алфавит, большие, малые буквы, цифры, пробел, знаки препинания... – все это возможные состояния значения x1, x2...xn.
Когда я читаю незнакомый текст, я не могу знать в точности, какая буква будет следующей, но я могу это предполагать. Например, если я прочел “произнош...”, я могу предположить, что это начало слова “произношение”, и дальше будет буква “е”. Вероятность этого очень велика, так как других подходящих слов нет, и другой символ там окажется только в случае опечатки или сокращения. А дальше – будет буква “н”, потом – “и”, а вот дальше – не так просто, зависит от падежа – может “е”, может “я”, а может “ю”. Соответственно для каждой очередной позиции в тексте есть разные варианты, какая там будет буква или другой символ, и вероятности для каждой буквы или символа.
Вообще говоря, не обязательно рассматривать отдельные буквы, с таким же успехом можно брать целые слова – но, как вы понимаете, тогда вариантов будет больше. Можно брать целые тексты – тогда количество вариантов x1, x2...xn будет астрономическим, но принцип – тот же самый. И таким образом формула Шеннона поможет нам узнать, сколько информации содержится в букве, слове или во всем тексте.
Во-вторых, есть другая случайная величина Y, которая принимает значения y1, y2...ym с вероятностями соответственно q1, q2...qm. Так что qj обозначает "вероятность того, что случайная величина Y примет значение yj".
Если X – характеристика носителя информации, то что характеризует Y? Она характеризует “то, о чем информация”. То есть – суть, смысл, содержание информации. Например, астроном смотрит в телескоп на звезду и видит, как со временем меняется ее яркость. Но астроном видит не саму звезду, а свет от нее. Свет – носитель информации о звезде. Случайная величина X отражает яркость в данный конкретный момент времени. Но астроному важна не сама яркость, а что она может значить. То ли он видит пульсар – звезду, меняющую свои размеры со временем, то ли там двойная звезда, которая становится менее яркой, когда одна звезда прячется за другой, а, может, там крупная палнета, которая время от времени закрывает небольшой фрагмент диска звезды. Соответственно величина Y характеризует возможную суть полученной информации, и в рассмотренном примере есть по крайней мере три варианта: y1, y2, y3 – пульсар, двойная звезда, звезда с планетой. И для каждого варианта есть вероятность qj, которая отражает ожидания астронома насчет того, что же там пульсирует на самом деле.
Опять же, количества информации без смысла информации не бывает... или это вовсе не количество информации – в противном случае что подставлять в формулу? Но может быть ситуация, когда смысл информации неважен.
Обратите внимание, что определение информации я пока не давал. Формула дает определение “количества информации” для “носителя информации” с характеристикой X и “содержания информации” с характеристикой Y. А что же такое просто “информация”? Часто можно услышать, что это – некое интуитивно понятное, но неопределимое понятие. Да бросьте... неужто так сложно дать определение? Кажется правильным, что для того, чтобы назвать нечто информацией, там должно быть ненулевое количество информации... хотя бы потенциально, но чего-то не хватает.
Предлегаю обратить внимание на один ню... анс. Бывают так называемые “отглагольные существительные”. Например, “преступление” – родственно слову “преступать”, “апелляция” – родственно слову “апеллировать”. Суть в том, что существительное обозначает не предмет, а процесс (или и предмет, и процесс). Скажем, апелляция – это и бумажка с текстом апелляции, и ее смысл, и, собственно, процесс ее подачи “кому следует”. И бумажка тут может иметь значение второстепенное по сравнению с самим процессом. Вот слово “информация” – как раз подобное отглагольное существительное. Оно иногда обозначает “носитель информации”, но это второстепенно, а главное – процесс. Соответствующий глагол “информировать”. Если мысленно подставить вместо слова “информация” слово “информирование”, фокус становится яснее.
Ну и вот вам определение:
Информация – это такой процесс, к которому можно применить формулу Шеннона и получить по этой формуле ненулевой результат.
Чего-то подустал... если антересно – могу продолжить (разберу формулу до конца и расскажу, почему не бывает информации без приемника).
no subject
no subject
no subject
no subject
no subject
no subject
no subject
бедный тролльчег вконец потерял ориентацию :)