Информация
May. 28th, 2011 08:51 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
psilogicКак программисту мне все время приходится иметь дело с понятием "информация", вот только обычно я работаю с ним на уровне интуиции. Но интуиция - не всегда хорошо, иногда ведь надо и другому человеку объяснить. И в этот момент можно оказаться в положении "умной собачки, которая все понимает, но сказать не может".
Я давно собирался "поднять" это словечко с уровня интуиции на уровень внятных словесных формулировок, но в реале навалилась куча дел - мама попала в больницу с переломом тазобедренного сустава, женушка затеяла ремонт... в общем, только сейчас появилось время, чтобы посидеть за компьютером.
Я буду перемешивать математические формулы с пояснениями "на нормальном языке", так что надеюсь, что меня поймут и любители формул, и любители объяснений на пальцах.
Насколько я слышал, это слово появилось совсем недавно - к середине XX века. Господа Хартли и Шеннон придумали формулы вычисления количества информации. Есть много вариаций для этих формул, но наиболее практической мне кажется вот такая:
I(X,Y) = Sum[i,j] pij log2(pij / (piqi))
где
pij = P(X = xi & Y = yj)
pi = P(X = xi)
qj = P(Y = yj)
В этой формуле заключено понятие "информация". Объясняя обозначения, дальше я раскрою идею.
Во-первых, есть некая случайная величина X, которая принимает значения x1, x2...xn с вероятностями соответственно p1, p2...pn. Так что pi обозначает "вероятность того, что случайная величина X примет значение xi".
Теперь о том, что это значит на практике. X – это характеристика того, что “содержит” или “несет” информацию.
Носителем информации может быть, например, книга или диск – на них записанное долгое время остается неизменным. Про такие носители информации обычно говорят, что они информацию “хранят”. В отличие от книги или диска, радио-сигнал, распространяющийся с электромагнитными волнами, меняется очень быстро. То же самое можно сказать про электрический ток в проводе, через который вы подключены к Internet. Про такие носители информации обычно говорят, что они “передают” информацию. Разница между “хранит” и “передает” – нестрогая, просто есть некоторый смысловой оттенок: хранит – нечто стабильное и неподвижное, передает – нечто изменчивое и движущееся.
Из формулы следует, что при передаче информации всегда присутствует какой-то носитель информации X, иначе никакой формулы вообще написать нельзя и, соответственно, количество переданной информации будет... никаким.
Иногда мы вполне можем говорить об информации, не упоминая носителя, – но это не значит, что носителя нет, а значит лишь то, что нам в данном случае все равно, какой носитель использовался – например, если меня спрашивают, читал ли я “Гарри Поттера”, тут неважно, читал ли я его в бумажном виде или в электронном.
Что в точности обозначает случайная величина X? Это состояние некоторого носителя информации. Например, это очередная буква или символ в тексте книги. Сколько там может быть вариантов? Столько, сколько разных символов. Алфавит, большие, малые буквы, цифры, пробел, знаки препинания... – все это возможные состояния значения x1, x2...xn.
Когда я читаю незнакомый текст, я не могу знать в точности, какая буква будет следующей, но я могу это предполагать. Например, если я прочел “произнош...”, я могу предположить, что это начало слова “произношение”, и дальше будет буква “е”. Вероятность этого очень велика, так как других подходящих слов нет, и другой символ там окажется только в случае опечатки или сокращения. А дальше – будет буква “н”, потом – “и”, а вот дальше – не так просто, зависит от падежа – может “е”, может “я”, а может “ю”. Соответственно для каждой очередной позиции в тексте есть разные варианты, какая там будет буква или другой символ, и вероятности для каждой буквы или символа.
Вообще говоря, не обязательно рассматривать отдельные буквы, с таким же успехом можно брать целые слова – но, как вы понимаете, тогда вариантов будет больше. Можно брать целые тексты – тогда количество вариантов x1, x2...xn будет астрономическим, но принцип – тот же самый. И таким образом формула Шеннона поможет нам узнать, сколько информации содержится в букве, слове или во всем тексте.
Во-вторых, есть другая случайная величина Y, которая принимает значения y1, y2...ym с вероятностями соответственно q1, q2...qm. Так что qj обозначает "вероятность того, что случайная величина Y примет значение yj".
Если X – характеристика носителя информации, то что характеризует Y? Она характеризует “то, о чем информация”. То есть – суть, смысл, содержание информации. Например, астроном смотрит в телескоп на звезду и видит, как со временем меняется ее яркость. Но астроном видит не саму звезду, а свет от нее. Свет – носитель информации о звезде. Случайная величина X отражает яркость в данный конкретный момент времени. Но астроному важна не сама яркость, а что она может значить. То ли он видит пульсар – звезду, меняющую свои размеры со временем, то ли там двойная звезда, которая становится менее яркой, когда одна звезда прячется за другой, а, может, там крупная палнета, которая время от времени закрывает небольшой фрагмент диска звезды. Соответственно величина Y характеризует возможную суть полученной информации, и в рассмотренном примере есть по крайней мере три варианта: y1, y2, y3 – пульсар, двойная звезда, звезда с планетой. И для каждого варианта есть вероятность qj, которая отражает ожидания астронома насчет того, что же там пульсирует на самом деле.
Опять же, количества информации без смысла информации не бывает... или это вовсе не количество информации – в противном случае что подставлять в формулу? Но может быть ситуация, когда смысл информации неважен.
Обратите внимание, что определение информации я пока не давал. Формула дает определение “количества информации” для “носителя информации” с характеристикой X и “содержания информации” с характеристикой Y. А что же такое просто “информация”? Часто можно услышать, что это – некое интуитивно понятное, но неопределимое понятие. Да бросьте... неужто так сложно дать определение? Кажется правильным, что для того, чтобы назвать нечто информацией, там должно быть ненулевое количество информации... хотя бы потенциально, но чего-то не хватает.
Предлегаю обратить внимание на один ню... анс. Бывают так называемые “отглагольные существительные”. Например, “преступление” – родственно слову “преступать”, “апелляция” – родственно слову “апеллировать”. Суть в том, что существительное обозначает не предмет, а процесс (или и предмет, и процесс). Скажем, апелляция – это и бумажка с текстом апелляции, и ее смысл, и, собственно, процесс ее подачи “кому следует”. И бумажка тут может иметь значение второстепенное по сравнению с самим процессом. Вот слово “информация” – как раз подобное отглагольное существительное. Оно иногда обозначает “носитель информации”, но это второстепенно, а главное – процесс. Соответствующий глагол “информировать”. Если мысленно подставить вместо слова “информация” слово “информирование”, фокус становится яснее.
Ну и вот вам определение:
Информация – это такой процесс, к которому можно применить формулу Шеннона и получить по этой формуле ненулевой результат.
Чего-то подустал... если антересно – могу продолжить (разберу формулу до конца и расскажу, почему не бывает информации без приемника).
Я давно собирался "поднять" это словечко с уровня интуиции на уровень внятных словесных формулировок, но в реале навалилась куча дел - мама попала в больницу с переломом тазобедренного сустава, женушка затеяла ремонт... в общем, только сейчас появилось время, чтобы посидеть за компьютером.
Я буду перемешивать математические формулы с пояснениями "на нормальном языке", так что надеюсь, что меня поймут и любители формул, и любители объяснений на пальцах.
Насколько я слышал, это слово появилось совсем недавно - к середине XX века. Господа Хартли и Шеннон придумали формулы вычисления количества информации. Есть много вариаций для этих формул, но наиболее практической мне кажется вот такая:
I(X,Y) = Sum[i,j] pij log2(pij / (piqi))
где
pij = P(X = xi & Y = yj)
pi = P(X = xi)
qj = P(Y = yj)
В этой формуле заключено понятие "информация". Объясняя обозначения, дальше я раскрою идею.
Во-первых, есть некая случайная величина X, которая принимает значения x1, x2...xn с вероятностями соответственно p1, p2...pn. Так что pi обозначает "вероятность того, что случайная величина X примет значение xi".
Теперь о том, что это значит на практике. X – это характеристика того, что “содержит” или “несет” информацию.
Носителем информации может быть, например, книга или диск – на них записанное долгое время остается неизменным. Про такие носители информации обычно говорят, что они информацию “хранят”. В отличие от книги или диска, радио-сигнал, распространяющийся с электромагнитными волнами, меняется очень быстро. То же самое можно сказать про электрический ток в проводе, через который вы подключены к Internet. Про такие носители информации обычно говорят, что они “передают” информацию. Разница между “хранит” и “передает” – нестрогая, просто есть некоторый смысловой оттенок: хранит – нечто стабильное и неподвижное, передает – нечто изменчивое и движущееся.
Из формулы следует, что при передаче информации всегда присутствует какой-то носитель информации X, иначе никакой формулы вообще написать нельзя и, соответственно, количество переданной информации будет... никаким.
Иногда мы вполне можем говорить об информации, не упоминая носителя, – но это не значит, что носителя нет, а значит лишь то, что нам в данном случае все равно, какой носитель использовался – например, если меня спрашивают, читал ли я “Гарри Поттера”, тут неважно, читал ли я его в бумажном виде или в электронном.
Что в точности обозначает случайная величина X? Это состояние некоторого носителя информации. Например, это очередная буква или символ в тексте книги. Сколько там может быть вариантов? Столько, сколько разных символов. Алфавит, большие, малые буквы, цифры, пробел, знаки препинания... – все это возможные состояния значения x1, x2...xn.
Когда я читаю незнакомый текст, я не могу знать в точности, какая буква будет следующей, но я могу это предполагать. Например, если я прочел “произнош...”, я могу предположить, что это начало слова “произношение”, и дальше будет буква “е”. Вероятность этого очень велика, так как других подходящих слов нет, и другой символ там окажется только в случае опечатки или сокращения. А дальше – будет буква “н”, потом – “и”, а вот дальше – не так просто, зависит от падежа – может “е”, может “я”, а может “ю”. Соответственно для каждой очередной позиции в тексте есть разные варианты, какая там будет буква или другой символ, и вероятности для каждой буквы или символа.
Вообще говоря, не обязательно рассматривать отдельные буквы, с таким же успехом можно брать целые слова – но, как вы понимаете, тогда вариантов будет больше. Можно брать целые тексты – тогда количество вариантов x1, x2...xn будет астрономическим, но принцип – тот же самый. И таким образом формула Шеннона поможет нам узнать, сколько информации содержится в букве, слове или во всем тексте.
Во-вторых, есть другая случайная величина Y, которая принимает значения y1, y2...ym с вероятностями соответственно q1, q2...qm. Так что qj обозначает "вероятность того, что случайная величина Y примет значение yj".
Если X – характеристика носителя информации, то что характеризует Y? Она характеризует “то, о чем информация”. То есть – суть, смысл, содержание информации. Например, астроном смотрит в телескоп на звезду и видит, как со временем меняется ее яркость. Но астроном видит не саму звезду, а свет от нее. Свет – носитель информации о звезде. Случайная величина X отражает яркость в данный конкретный момент времени. Но астроному важна не сама яркость, а что она может значить. То ли он видит пульсар – звезду, меняющую свои размеры со временем, то ли там двойная звезда, которая становится менее яркой, когда одна звезда прячется за другой, а, может, там крупная палнета, которая время от времени закрывает небольшой фрагмент диска звезды. Соответственно величина Y характеризует возможную суть полученной информации, и в рассмотренном примере есть по крайней мере три варианта: y1, y2, y3 – пульсар, двойная звезда, звезда с планетой. И для каждого варианта есть вероятность qj, которая отражает ожидания астронома насчет того, что же там пульсирует на самом деле.
Опять же, количества информации без смысла информации не бывает... или это вовсе не количество информации – в противном случае что подставлять в формулу? Но может быть ситуация, когда смысл информации неважен.
Обратите внимание, что определение информации я пока не давал. Формула дает определение “количества информации” для “носителя информации” с характеристикой X и “содержания информации” с характеристикой Y. А что же такое просто “информация”? Часто можно услышать, что это – некое интуитивно понятное, но неопределимое понятие. Да бросьте... неужто так сложно дать определение? Кажется правильным, что для того, чтобы назвать нечто информацией, там должно быть ненулевое количество информации... хотя бы потенциально, но чего-то не хватает.
Предлегаю обратить внимание на один ню... анс. Бывают так называемые “отглагольные существительные”. Например, “преступление” – родственно слову “преступать”, “апелляция” – родственно слову “апеллировать”. Суть в том, что существительное обозначает не предмет, а процесс (или и предмет, и процесс). Скажем, апелляция – это и бумажка с текстом апелляции, и ее смысл, и, собственно, процесс ее подачи “кому следует”. И бумажка тут может иметь значение второстепенное по сравнению с самим процессом. Вот слово “информация” – как раз подобное отглагольное существительное. Оно иногда обозначает “носитель информации”, но это второстепенно, а главное – процесс. Соответствующий глагол “информировать”. Если мысленно подставить вместо слова “информация” слово “информирование”, фокус становится яснее.
Ну и вот вам определение:
Информация – это такой процесс, к которому можно применить формулу Шеннона и получить по этой формуле ненулевой результат.
Чего-то подустал... если антересно – могу продолжить (разберу формулу до конца и расскажу, почему не бывает информации без приемника).
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2011-05-28 05:14 pm (UTC)no subject
Date: 2011-05-29 10:07 am (UTC)no subject
Date: 2011-05-29 10:21 am (UTC)Теперь сфокусируемся на носителе: сколько там информации? Та информация, которую мы ПОКА НЕ УМЕЕМ читать - она существует? Или нет? Или она появляется из ниоткуда в момент нашего научения?
no subject
Date: 2011-05-29 12:27 pm (UTC)no subject
Date: 2011-05-29 01:25 pm (UTC)(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:no subject
Date: 2011-05-28 05:53 pm (UTC)Насчет поста: трактовка Y очень э... неожиданная.
no subject
Date: 2011-05-28 05:56 pm (UTC)no subject
Date: 2011-05-29 05:31 am (UTC)no subject
Date: 2011-05-29 08:32 am (UTC)I(X,Y) = I(Y,X), поэтому она же "информация об X, содержащаяся в Y", поэтому это взаимная информация.
Трактовку ее я действительно перепутал с H(X|Y) - условной энтропией.
no subject
Date: 2011-05-28 09:38 pm (UTC)Оченьвидный пробел в курсе философии новейшего времени (;
Уже есть женушка? (; Поздравляю!!
no subject
Date: 2011-05-29 05:18 am (UTC)no subject
Date: 2011-06-04 10:10 pm (UTC)атрибутивная: 'материя = вещество + энергия + организация'
функциональная: системная функция как отношение, проявляющаяся только в кибернитических системах
другими словами
атрибутивная: информация, необходимая для описания конкретного состояния материи/энергии. например, это объем хранимой информации на HDD; информация для описания проведения эксперимента; информация для описания положения N частиц в вакуумной камере. т.е. это то множество состояний, которое может принимать материя-энергия.
функциональная: информация как знание для конкретной КС. если атрибутивная - это данные, то здесь - это знание. знание получается из данных только тогда, когда к ним прикладывается голова (;.
в этой теории если нам по новостям передают "завтра на Камчатке будет дождь", то нам может передали какую-то информацию (если нам это интересно), или передали 0 информации, если это на нафиг не нужно, или передали 0 информации в случае, если мы это уже и так знали.
если человеку пришел ряд чисел (атрибутивная информация) 1,2,4,8,16,32,..., то он может не запоминать их, а конвертнуть в своей голове в 2^n и хранить в таком виде.
для человека, который знает Гамлета наизусть, томик с Гамлетом несет 0 информации. для человека, который не читал Гамлета, томик несет N информации. а для дамочки, которая говорила, что "прочитала Гамлета. и что в нем люди находят?? он состоит из одних цитат!" - менее, чем N информации.
это дело справедливо для любых КС. если мы имеем детонатор мины, который взрывается только после произнесенных рядом слов "здравствуйте, я ваша тётя", то эта система "микрофон-распознаватель речи-детонатор" воспринимает из окружающего мира 1 бит информации на акт распознавания, несмотря на то, что к нему летит куча атрибутивной звуковой информации. если приемник в виде софта распознает ряд 1,2,4,8,16,.. и конвертирует в своем понимании в 2^n, то он также приводит информацию к функциональному виду.
такие вот дела. какая наука изучает все вместе без понятия, в свое время всего этого набрался из философии.
по частностям кибернетика работает больше с функциональной информацией, программисты с атрибутивной, теория связи преобразует атрибутивную в функциональную и не только, ..
P.S. Функциональная информация без формулы Шеннона и без приемника не существует, а атрибутивная - вполне обходится без первого и последнего.
no subject
Date: 2011-06-06 09:18 am (UTC)no subject
Date: 2011-05-29 06:58 am (UTC)no subject
Date: 2011-05-29 09:56 am (UTC)В рассказе X - характеристика текста, Y - сюжет, образы, которые Шекли хотел донести до читателя.
no subject
Date: 2011-05-29 10:07 am (UTC)Вы ж опять про _кодирование_ информации. main(){puts("Hello, world.";) - информация?
no subject
Date: 2011-05-29 10:09 am (UTC)no subject
Date: 2011-05-29 10:15 am (UTC)(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:no subject
Date: 2011-05-29 07:01 am (UTC)А, если чуть иначе: информация это значение действия зарегистрированное в собственных значениях чувствительного элемента первичного датчика. Теперь можно применять и формулу. И не одну.
no subject
Date: 2011-05-29 10:05 am (UTC)no subject
Date: 2011-05-29 10:11 am (UTC)no subject
Date: 2011-05-29 10:13 am (UTC)Чего-то не припомню...
no subject
Date: 2011-05-29 10:16 am (UTC)(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:(no subject)
From:no subject
Date: 2011-05-29 11:29 am (UTC)no subject
Date: 2011-06-19 04:08 pm (UTC)информация: