psilogic: (Default)
psilogic ([personal profile] psilogic) wrote2009-01-11 12:37 pm

Звуковая иллюзия - бас, которого нет

Раньше слышал об этом интересном факте, но совсем недавно, так сказать, "руками пощупал". О том, как ухо слышит то, чего реально нет (звуковая иллюзия).

Возьмем какой-нибудь очень низкий (басовый) музыкальный звук. Например, вот этот из начала Раммштайновской композиции Spiel Mit Mir:

Можно посмотреть:

(кликабельно)
(рис. 1)
И можно послушать
А теперь разложим звук в спектр. Что увидим? А вот что:

(кликабельно)
(рис. 2)

Обратите внимание на маленький пик в районе 41 Гц. Это и есть та нота, которую мы слышим - "ми" контроктавы. Все остальные пики - это ее обертоны (гармоники). Несколько из них громче, чем сама нота.

Наше ухо внутри содержит нечто вроде такого анализатора спектра, только он механический - улитка. В ней есть чувствительные волоски, которые реагируют на определенные частоты подобно этому графику: чем выше пик, тем сильнее реакция. В мозг попадает уже не само колебание (рис. 1), а его спектр (рис. 2).

Теперь я уберу гармонику 41 Гц фильтром. Вот, что получится:

(кликабельно)
(рис. 3)
Тут можно послушать

Разница на слух почти незаметна. Слышимая музыкальная нота осталась прежней - ми контроктавы, 41 Гц. Ухо слышит 41 герц там, где его и в помине нет!

Примерно так же дурят нашего брата с помощью пианино. Самые тяжелые струны в басах - они совсем не извлекают частоты порядка 50 Гц и ниже, а вместо них генерируют гармоники. Но ухо успешно обманывается, и мы остаемся довольны.

И это правильно, потому, что эти частоты находятся на границе восприятия, мы их почти не слышим, а музыка требует некой равномерности.

А вот таков чистый звук в 41 Гц. Можете убедиться, что тембр явно другой, но вот нота... та же самая - ми контроктавы.

(кликабельно)
(рис. 4)
Тут можно послушать

Мне пришлось увеличить размах колебаний потому, что иначе его будет трудно услышать, особенно в маленьких наушниках. Если хотите, вот для чистоты эксперимента тот же звук, но с размахом как в первом примере из Раммштайнов.
Тут можно послушать

[identity profile] bajaz.livejournal.com 2009-01-11 08:44 pm (UTC)(link)
Я думал в том смысле, что есть эдакий "индикатор" на выходе мастера, который "трёхмерно" отображает звуковое пространство: частота снизу вверх, абсциссная панорама. В таком пространстве звук выглядит как "выпуклость" "задней стенки" комнаты, которая суть аппаратная тишина, там где разрядность заканчивается. :) Интересное происходит, когда звуков несколько и поверхности начинают пересекаться. Их тогда желательно показывать полупрозрачно и разными цветами. Фишка реализации состоит в том, чтобы при любой обработке каждого сигнала, производить искажения "картинки" параллельно, иначе потом из суммарного сигнала нифига не проанализируешь. ;) Доступно? Идея очевидна, но у меня паранойя, что очевидна только мне. :)

[identity profile] psilogic.livejournal.com 2009-01-11 09:00 pm (UTC)(link)
не совсем очевидно визуальное представление. если частота снизу вверх (сразу возникает вопрос - частота чего? спектр?), амплитуда сзади к нам, то что справа налево?

но цель я вроде понял: вы хотите редактировать несколько партий одновременно, но так, чтобы их всегда можно было разделить. реализуется это просто увеличением числа каналов - вместо двух каналов стерео (которые у меня можно редактировать вместе или по отдельности) можно сделать десять по два. в принципе, не так сложно.

у меня мысль была несколько иной: музыку писать на некоем символическом языке - не нотами, а текстом, его удобнее редактировать. ну и отдельные партии - это просто наборы буковок. а волны и нотная запись появляются на завершающем этапе, когда хочется где-то что-то "пригладить".

[identity profile] fregimus.livejournal.com 2009-01-11 09:15 pm (UTC)(link)
> что справа налево?

Время.

[identity profile] bajaz.livejournal.com 2009-01-11 09:49 pm (UTC)(link)
по представлению: снизу вверх спектр, ага. слева направо - стереопанорама, ясен день!

цель такова, чтобы смоделировать в 3-д ту картину, которую фактически "видит" мозг при прослушивании, да ещё и в цвете. :)
Это только для микширования, а просто загнать туда фонограмму - будет каша, избежать которую можно только если анализировать тембры и вычислять положение каждого, что практически невозможно. Конечно же, речь идёт о многодорожечном секвенсоре.
А чем этот ваш предполагаемый "символический язык" принципиально отличается от миди?

[identity profile] psilogic.livejournal.com 2009-01-11 10:00 pm (UTC)(link)
[ А чем этот ваш предполагаемый "символический язык" принципиально отличается от миди? ]

MIDI сам по себе имеет ряд преимущества. К этому добавятся плюсы, присущие всем текстовым форматам:
1. просматривается и редактируется миллионом редакторов
2. нет проблем с версиями и расширениями - новые элементы синтаксиса могут просто добавляться по мере надобности и игнорироваться

минус - более сложный парсер, но это уже проблема программиста, то есть, моя, а не пользователя

хотя без библиотеки сэмплов, конечно, не обойтись :)

[identity profile] bajaz.livejournal.com 2009-01-11 10:18 pm (UTC)(link)
>> К этому добавятся плюсы, присущие всем текстовым форматам

И минусы ручного редактирования хреновой тучи информационного мусора. Чтобы было совсем труЪ, надо эту программулю сделать консольной. :)

И причём тут сэмплы вообще? Это отдельная песня. Контроллеры заложить надо, и хватит для начала.

[identity profile] psilogic.livejournal.com 2009-01-11 10:29 pm (UTC)(link)
[ Чтобы было совсем труЪ, надо эту программулю сделать консольной. ]

Бу га га га - хорошо подъебнул :)) Только о какой куче информационного мусора речь? Просто нотки. Что-то типа:

до . . .
ре . фа .
ля . ре .
+до . ля .
__
-ре . фа фа
до . . .
ля . ре .
+до . ля .
__
Что-нибудь в этом роде, первый вариант формата уже есть, но возможно захочется его переделать.

Сэмплы тут для того, чтобы добавлять инструменты. Есть некий бинарный файл, который описывает инструмент, для этого в нем записаны фрагменты звучания, некие контроллеры и т.п. Все это упрятано в файл-инструмента. Композитор просто указывает его в тексте, типа:

/voice 1 piano.ins

- и дальше ноты голоса номер 1 применяют этот инструмент из файла "piano.ins" когда понадобится синтезировать звук wav/mp3.


[identity profile] bajaz.livejournal.com 2009-01-11 10:36 pm (UTC)(link)
>> Просто нотки. Что-то типа

Оно всё хорошо, а как быть с осью времени? ;) Piano-roll знаете? Без такого визуального представления получается что-то типа такой куцей системы как на телефонах.

С инструментами (тон-генераторами) оно тоже понятно, бывают синтезаторы, сэмплеры, гибриды всякие. :) А параметры как крутить, тоже буквами? Имхо, подобное текстовое программирование музыки - дело тупиковое.

[identity profile] psilogic.livejournal.com 2009-01-11 10:43 pm (UTC)(link)
Piano-roll - а как это будет парусски? :)

Параметры - да, буквами, а как в нотной записи все буквами да значками - и вроде нормально.

[identity profile] bajaz.livejournal.com 2009-01-11 10:58 pm (UTC)(link)
Не знаю как по-русски, это такой способ представление нотного материара, когда по ординате откладывается высота ноты (как бы логарифмическая частота, раскрашенная для удобства восприятия чёрно-белыми клавишами), а по абсциссе - линейное время, размеченное тактами, долями и т.п. Фишка в том, что нота может начинаться и заканчиваться в _любой_ момент. Я так понимаю, у вас маловато опыта в виртуальной композиции, м?;)

[identity profile] psilogic.livejournal.com 2009-01-11 11:12 pm (UTC)(link)
ага, значит, парусски piano-roll - нотный стан.

Только я с самого начала врубился, что лучше его направлять сверху вниз. так привычнее и удобнее редактировать. Копи-пастить такты или другие отрезки так удобнее. Единственная нестандартная операция, которая понадобится - это удаление/вставка новых столбцов-партий, ну, может, еще какие-нибудь операции над всей партией в целом - типа транспонирования.

[ Фишка в том, что нота может начинаться и заканчиваться в _любой_ момент ]

В любой так в любой, не вижу проблем. Расположение нот или других событий на одной строке означает их синхронность, в остальном - свобода.

[ я так понимаю, у вас маловато опыта в виртуальной композиции, м?;) ]

я вообще-то программист, а не композитор :)

[identity profile] bajaz.livejournal.com 2009-01-11 11:56 pm (UTC)(link)
>> ага, значит, парусски piano-roll - нотный стан.

Нед. "Нотный стан" не-по-русски называется "staff view", те самые "вишенки" и палочки на пяти линейках, которые в партитурах. А пианоролл это то что на картинке.

>> В любой так в любой, не вижу проблем.

Очень неудобно обозначать текстом метки времени с точностью до "кадра" или доли, когда можно просто взять ноту и сдвинуть её мышой. Особенно когда это надо сделать с группой нот. :) В виде текста просто нотная информация не воспринимается адекватно. Это всё равно как в фильме "матрица" те чуваки видели виртуальный мир сразу по бинарнику. :) Имхо, более изящного решения чем пианоролл для отображения нот пока не придумано.

>> я вообще-то программист, а не композитор :)

Ну а фигли, я тоже программист. :) Видать, там где вас понесло в психологию, меня - в музыку. :)

[identity profile] psilogic.livejournal.com 2009-01-12 12:11 am (UTC)(link)
[ А пианоролл это то что на картинке. ]

Ну что в лоб, что по лбу - один из миллиона способов нарисовать нотный стан :) В общем, я понял, о чем речь.

[ Очень неудобно обозначать текстом метки времени с точностью до "кадра" или доли, когда можно просто взять ноту и сдвинуть её мышой. ]

Эээ... сдвигание мышой оно приятственно, когда плюс-минус километр не имеет значения :) А вот скажите мне, при какой такой ситуации бывает надо двигать ноты только одной партии, нарушая синхронизацию между голосами? Обычно такое не нужно, наоборот, хочется случайно не нарушить ее. И тут как раз очень удобен текстовый решим - выделили группу строк - и переместили сразу все партии туда, куда надо. А если надо увеличить долю - ну поставили ей другую цифру.

И еще - где на этом нотном "свитке" видно, какая партия где находится? Особенно, если они оказываются в унисоне? А в тексте это сразу наглядно - одна партия - один столбец. Это представление - это как раз самый что ни на есть нотный стан со всеми его старинными плюсами - но и минусами.

[identity profile] bajaz.livejournal.com 2009-01-12 12:25 am (UTC)(link)
Установите себе любой секвенсор из серии Cakewalk/Sonar, Cubase/Nuendo (рекомендую) и т.п., и покрутите. Сразу всё будет понятно. :)

[identity profile] psilogic.livejournal.com 2009-01-12 08:38 am (UTC)(link)
Откуда скачать такую зверюшку можно? А то аж 100 мегов...

Кстати, раз уж вы - активный ползователь, поделитесь, какие функции вам кажется самыми важными? И еще: насколько необходима в таких вещах поддержка более чем 16-битной разрядности звука и более, чем 2Гб файлов?

(no subject)

[identity profile] bajaz.livejournal.com - 2009-01-12 17:45 (UTC) - Expand

[identity profile] bajaz.livejournal.com 2009-01-11 11:00 pm (UTC)(link)
вот гугль знает что это!
Image

[identity profile] fregimus.livejournal.com 2009-01-11 09:17 pm (UTC)(link)
Так и делают — эта штука называется спектрограмма. Слева направо время, по вертикали частота, а интенсивность точки, скажем, от черного до белого — амплитуда.

[identity profile] psilogic.livejournal.com 2009-01-11 09:25 pm (UTC)(link)
аа... просто нестандартная 3-мерная визуализация...

[identity profile] bajaz.livejournal.com 2009-01-11 09:52 pm (UTC)(link)
Не совсем. См выше, таким образом можно визуализировать готовую фонограмму, но она будет воспринята как цельная каша. Идея в том, чтобы визуализация шла параллельно с обработкой, тогда, грубо говоря, каждый звук в аранжировке будет отдельной трёхмерной сущностью.

[identity profile] psilogic.livejournal.com 2009-01-11 10:02 pm (UTC)(link)
думаю, получилось бы красиво, хотя и может слегонца "пригрузить" контупер

и я бы все-таки использовал менее... кхе-кхе.... нетрадиционную ориентацию, когда ось времени время идет "вдаль", а бугры возникают над "полом" :)

[identity profile] bajaz.livejournal.com 2009-01-11 10:20 pm (UTC)(link)
Контупер для того и нужен, чтоб пригружаться. :)
А оси времени там как бы и нетути. Это четвёртое измерение, которое мы как бы видеть не умеем. Чтобы понять суть визуализации, помедитируйте над тем, что человек видит, когда он слышит?

[identity profile] psilogic.livejournal.com 2009-01-11 10:41 pm (UTC)(link)
[ Это четвёртое измерение ]
+ цвет - номер голоса
1-е - частота
2-е - амплитуда
а 3-е - что?

[identity profile] bajaz.livejournal.com 2009-01-11 10:56 pm (UTC)(link)
Ненене. Гораздо всё проще. Положение звука на плоскости XY соответствует его реальному расположению, если смотреть по центру вперёд. Панорамируя звук мы перемещаем его влево и вправо, это понятно. Высота - это интереснее, она определяется спектром. Источник звука мы видим на высоте, соответствующей наиболее громкой части спектра, поэтому её менять сложнее чем панораму, хотя тоже можно. Главное чтобы отображение производилось правильно, редактирование тут на втором плане значимости. Ну и глубина - чем тише, тем дальше, это тоже очевидно. Это всё то, что де-факто можно заметить при прослушивании фонограммы, никакой фантазии. Задача в том, чтобы представить эти ощущения визуально.

[identity profile] psilogic.livejournal.com 2009-01-11 11:03 pm (UTC)(link)
ага, теперь понятно - полярная система координат: угол - сдвиг между правым/левым голосом, радиус обратно пропорционален громкости, высота - высоте главной гармоники, ну и цвета для обозначения инструментов. нечто вроде оркестра со слушателем в центре.

[identity profile] bajaz.livejournal.com 2009-01-11 11:48 pm (UTC)(link)
>> нечто вроде оркестра со слушателем в центре

Вот это правильный ход мысли, всё остальное про полярные координаты я даже не понял при первом прочтении. :) Если очень грубо, то если правильно расположить свои уши между колонками, то там где звук звучит, _там_ он и должен быть визуализирован. :) Если реализовать всё так как я выше пытался объяснить, то оно так и получится.