Как глухонемые слушают музыку

«Теперь нам очевидно, что мозг глухого схватывает ритм гораздо лучше, чем мозг слышащего человека» — говорит он.

Мелодия тактильных сигналов. Как глухие люди играют и слушают музыку

Если человек лишился слуха, то, как это ни удивительно, он может продолжить наслаждаться музыкой благодаря тактильным ощущениям. Более того, сейчас ученые разрабатывают специальные осязательные устройства, которые позволяют глухим людям лучше воспринимать красоту и сложность музыкальных произведений. А порой глухие люди сами становятся музыкантами — и выступают босиком. Почему так — рассказывает Элена Ренкен.

После того как Эвелин Гленни в возрасте примерно двенадцати лет почти полностью лишилась слуха из-за нервного истощения, она стала брать уроки игры на барабанах. В самом начале учитель ударил по литаврам, позволив звуку резонировать, и попросил Эвелин подумать, как они могут использовать вибрации барабана.

«Он попросил меня положить руки на стену в комнате», — вспоминает девочка. Тогда Эвелин смогла почувствовать как сам удар по барабану, так и вибрации, распространяющиеся после него.

«Это оказало влияние на мое тело, поскольку я явно чувствовала звук, — объяснила она. — В тот момент для меня всё изменилось».

Так Эвелин научилась различать высоту музыкальных нот и впоследствии стала знаменитой сольной перкуссионисткой.

Чувствительность Эвелин к вибрациям и выдающиеся способности к сочинению музыки демонстрируют чуткое отношение миллионов глухих и слабослышащих людей к музыке.

Многие из них ходят на концерты или наслаждаются музыкой у себя дома с помощью прикосновений, зрения и специальных движений. Некоторые играют на музыкальных инструментах и поют.

Ученые с каждым днем узнают всё больше о том, как наши тела и мозг воспринимают вибрации. Они проводят множество новых исследований, которые помогают глухим людям еще лучше воспринимать сложность и эмоциональный диапазон музыки как в качестве слушателей, так и в качестве исполнителей. Кроме того, ученые всё лучше понимают, как музыка проходит сквозь нас, создавая симфонии чувств.

Люди с нарушениями слуха воспринимают музыку и другие звуки, когда вибрации определенной частоты, находящейся в слышимом диапазоне от 20 до 20 000 герц, распространяются по воздуху и улавливаются крошечными сенсорными клетками органа внутреннего уха.

Но музыку можно воспринимать и через осязание. Звуковые волны можно ощущать через давление воздуха на кожу и через вибрацию твердых материалов, таких как дека гитары или пол сцены. Вибрации также могут ощущаться мембранами между костями и стенками легких и грудной клетки.

Эвелен, чтобы лучше чувствовать вибрации пола, выступает босиком. Говорят, что Бетховен, став глухим, сделал себе что-то вроде слухового аппарата из палки, один конец которой он стискивал зубами, а другой помещал на пианино.

У многих людей, родившихся глухими, обостряется осязание. Нейробиолог и музыкант Фрэнк Руссо исследует то, как электрические сигналы в мозгу отслеживают пульсации, полученные с помощью вибротактильных ощущений. Согласно его исследованиям, у глухих и слышащих людей это происходит по-разному.

«Теперь нам очевидно, что мозг глухого схватывает ритм гораздо лучше, чем мозг слышащего человека» — говорит он.

Механика восприятия вибрации через слух и через осязание по существу одинакова: сенсорные нервы, называемые механорецепторами, которые расположены в ушной раковине и по всему телу, изгибаются в ответ на изменения давления, посылая нервные импульсы в мозг.

Многие живые существа, например, насекомые и грызуны, до сих пор в основном общаются с помощью вибраций, поэтому некоторые нейробиологи считают, что слух развился у более сложных животных из вибротактильного чувства.

За последнее десятилетие инженеры создали множество вибрирующих устройств, призванных помочь глухим людям ощутить больше музыкальных нюансов.

Но многие из таких устройств по-прежнему работают довольно топорно и в основном усиливают только басы. Эвелин говорит, что обеспокоена тем, что подобные устройства могут сгладить тактильные ощущения от музыки. Ученые только начинают понимать, как с помощью прикосновения уловить и передать истинную сложность, глубину и эмоциональный диапазон музыки и перевести яркий вокал, глубокие басовые ноты и звенящие гитарные риффы в тактильные вибрации.

Однако мы не так чувствительны к изменениям вибрации, как к изменениям звука. Согласно исследованию Карла Хопкинса, руководителя проекта «Музыкальные вибрации», определить разницу между соседними нотами, такими как до и до-диез, с помощью вибрации было трудно как для глухих, так и для слышащих людей.

Если человек не слышит звуков, слуховая кора может перенастроить себя, чтобы получать сигналы от других органов чувств.

Просто прикоснувшись к вибрирующему гаджету, как слышащие, так и глухие люди продемонстрировали способность различать виолончель, фортепиано и тромбон, а также глухие и резкие звуки.

Исследователи также пытаются понять, какие эмоции способны быть восприняты через вибротактильные ощущения.

«С помощью вибрации вы можете почувствовать важные оттенки эмоций в чьем-то голосе, — считает Руссо. — Вы можете уловить усталость, твердость и гнев».

Для Эвелин низкочастотные вибрации несут больше всего эмоций, в то время как высокочастотные вибрации их лишены.

Еще одним препятствием для перевода существующей музыки в вибрацию является разделение разных звуков. Многие современные технологии пока могут обрабатывать только музыку, которая уже разделена на отдельные звуковые дорожки для каждого инструмента или на нотной партии. Даже самые продвинутые алгоритмы, передающие музыку на вибрирующие устройства, с трудом могут передать то, как более низкие и более интенсивные вибрации переходят в более высокие и менее интенсивные.

Восприятие глухими музыки посредством вибрационной чувствительности

О восприятии музыки с помощью вибрационной чувствитель­ности можно говорить в значительной мере только условно. Го­раздо более ограниченные возможности вибрационной чувстви­тельности по сравнению с чувствительностью слуховой в отноше­нии анализа и синтеза звуковых воздействий не позволяют воспринимать музыку в единстве всех ее выразительных и изо­бразительных средств, таких, как мелодия, гармония, полифония, тембр и многие другие. Посредством вибрационной чувствитель­ности может быть воспринят темп музыки, ее ритм, размер так­тов, чередование звуков по их силе и длительности; кроме того, в некоторых случаях удается различать диссонансы и консо­нансы.

Однако даже и эти ограниченные возможности вибрационной чувствительности позволяют познакомить глухих с музыкой. Глу­хие могут «слушать» музыку разными способами: прикладывая руки к поверхности музыкального инструмента и воспринимая

его колебания; находясь на небольшом расстоянии от звучащего инструмента и воспринимая ногами колебания пола и всем телом, грудью или спиной колебания воздуха, вызванные игрой на му­зыкальном инструменте. Кроме того, они могут воспринимать музыку, передаваемую по радио, прикасаясь пальцами руки к по­верхности радиоприбора или к пластинкам специального вибра­тора.

По рассказам некоторых глухих, восприятие ногами коле­баний пола, вызванных звучащими музыкальными инструмен­тами, дает менее точное представление о музыке, чем восприятие воздушных колебаний грудью или спиной (Д. Катц [D. Katz], 1925). Восприятию воздушных колебаний способствуют резони­рующие предметы, «находящиеся в непосредственной близости от глухого.

По воспринимаемым вибрациям глухие могут научиться узнавать некоторые простые музыкальные произведения, разли­чая их по характеру ритма, чередованию сильных и слабых (ти­хих и громких) звуков, скорости смены одного звука другим. Как показали специальные исследования, глухие дети обучаются до­вольно тонкому дифференцированию ритма. Они начинают раз­личать по вибрациям музыкальные пьесы с размером тактов в 2/4, 3/4,4/4,6/8 (данные З.Е.Пуниной, 1935; М.Кетчем [М. Ket cham], 1931). Восприятие музыки посредством вибрационной чув­ствительности может доставлять глухим настоящее удовольствие. Известны случаи, когда полностью глухие ходили на концерты, где, по их словам, они наслаждались музыкой (описано Д. Катцем).

Важным условием для того, чтобы глухой мог распознать музыку по вибрациям, является покой его тела во время вос­приятия—иначе говоря, сохранение определенной позы. При вы­полнении движений под музыку глухие дети почти не способны воспринимать ее ритм и темп посредством вибрационной чувст­вительности. При ходьбе, прыжках и различных движениях, свя­занных с перемещением, ноги ребенка не могут служить ему полноценным средством восприятия вибраций, так как они по­стоянно отрываются от пола; кроме того, вибрации пола, вызван­ные музыкой, перекрываются более сильными вибрациями от стука ног по полу. В этих условиях восприятие вибраций воздуха также крайне затруднено, так как находящийся в движении ребенок поворачивается к источнику вибраций то грудью, то боком, то спиной, так что вибрации воздействуют попеременно на разные участки его тела. Чередующиеся напряжения и рас­слабления мышц при движении ребенка также затрудняют вос­приятие вибрационных воздействий.

Значение развития вибрационного восприятия музыки у глу­хих детей не ограничивается приобщением их к музыкальной культуре. Оно оказывает детям большую помощь при обучении устной речи. Усвоение музыкальных пьес с ясно выраженным

ритмическим рисунком и темпом способствует формированию у детей умения различать эти признаки в речевых воздействиях. Вырабатывающееся у детей чувство ритма помогает также со­вершенствованию всей их моторики.

Без кейворда

Как много значит музыка для глухого человека?

Сигнальные лампочки, жестовый язык, субтитры – то, что заменяет инвалиду по слуху привычные здоровым людям звуки и позволяет ориентироваться в мире.
Но мало кто может себе представить, что ритм, музыка, песни нередко продолжают присутствовать в жизни неслышащего человека, и посещение концертов для него – такой же праздник, как и для тех, кто не имеет причины жаловаться на слух.

Как же «слышат» музыку те, кто физически лишен возможности слышать вообще? Все дело в том, что с утратой одного органа чувств другие органы частично берут на себя его функции и активируют другие рецепторы, способные брать информацию из внешнего мира.

В данном случае слабослышащие или глухие люди обретают способность «слышать» тактильно, улавливая даже сами ничтожные колебания и вибрации в воздухе. Как не непривычно это звучит, но среди неслышащих встречаются настоящие меломаны. На музыкальных фестивалях, концертах, выступлениях артистов эстрады они стараются сесть поближе к колонкам и в полной мере наслаждаются тактом, ритмом, перепадами вибраций.

Иногда глухой меломан находит способ «прибавить звук», усилив вибрацию через подручные приспособления, например, пластиковые бутылки или другую пустую емкость с нестатичными стенками.
Особенно привлекательна для неслышащего меломана музыка с тяжелыми «басами», дающая хорошую вибрацию, вот почему инвалиды по слуху так любят посещать рок-фестивали.

В последнее время особенно «продвинутые» клубы и диско-бары стали устанавливать в своих помещениях специальные танцполы с повышенным уровнем передачи вибрации и устраивать

шоу-концерты песен, исполняемых на языке жестов. Недавно в Роспатент была подана заявка о выдаче патента на специальное пианино с разноцветными клавишами и лампочками – комбинируя их нажатие, можно создать уникальные световые «мелодии».

По расчетам Всемирной организации здравоохранения (ВОЗ), в ближайшие 10 лет число россиян с различными нарушениями слуха увеличится на треть.
Остается надеяться, что к этому времени и технологии для творчества и восприятия сделают новый рывок вперед, став еще результативнее и доступнее.

Как мозг позволяет глухим воспринимать музыку

Как мозг позволяет глухим воспринимать музыку

Эвелин Гленни начала брать уроки игры на перкуссии примерно в 12 лет, после того как потеряла большую часть слуха из-за нервного истощения. Ее учитель ударил в литавры и позволил звуку резонировать, задаваясь вопросом вслух, как они могли бы использовать вибрации барабана.
“Он попросил меня положить руки на стену музыкальной комнаты”, — рассказывала Гленни. Она могла почувствовать первый удар барабанного боя, но она также могла почувствовать вибрации, отражающиеся после.

“Это действительно замедлило работу организма, потому что я обращала внимание на весь путь этого звука”, — объяснила она. “Все тело участвовало в том, чтобы обращать внимание на звук. И тогда это действительно все изменило для меня. Это изменило мою чувствительность к прикосновениям ”.
Таким образом Гленни научилась различать различные тона музыкальных нот и в конечном итоге сделала карьеру знаменитой сольной перкуссионистки.

Исключительная чувствительность Гленни к вибрациям и замечательный талант к сочинению музыки символизируют сильную связь, которую миллионы глухих и слабослышащих людей имеют с музыкой. Многие ходят на концерты и наслаждаются музыкой у себя дома с помощью прикосновений, зрения и движений. Немногие избранные, такие как Гленни, играют на музыкальных инструментах или профессионально поют. Но по мере того, как ученые узнают больше о том, как наши тела и мозг обрабатывают вибрации, они проводят множество новых исследований, которые помогут глухим людям лучше оценить сложность и эмоциональный диапазон музыки, как слушателям, так и исполнителям.
В процессе они также обнаруживают, как музыка проходит через нас, создавая симфонии чувств.

Многие глухие посетители концертов сжимают воздушные шарики, чтобы лучше чувствовать акустические вибрации через тонкую резину.

Люди со слухом воспринимают музыку и другие звуки, когда определенные частоты вибрации — в пределах слышимого диапазона от 20 до 20 000 Герц — распространяются по воздуху и улавливаются крошечными сенсорными клетками в улитке, улиткообразном органе во внутреннем ухе. Но музыку можно воспринимать и через осязание. Звуковые волны можно ощущать как давление воздуха на кожу или проходить через твердые материалы, такие как дека гитары или пол сцены, где их можно уловить руками, телом и ногами. Вибрации также могут ощущаться мембранами между костями и стенки внутренних полостей, таких как легкие и грудная клетка.

Музыкальные традиции глухих уже давно используют силу прикосновения для восприятия вибрации, которая называется вибротактильным чувством.
Многие глухие посетители концертов сжимают воздушные шарики, чтобы лучше чувствовать акустические вибрации через тонкую резину, а Гленни известна тем, что выступает босиком, чтобы лучше чувствовать вибрации, пульсирующие на сцене. Говорят, что после того, как Бетховен оглох, он смастерил себе что-то вроде слухового аппарата из палки: он сжимал один конец зубами, а другой конец положил на пианино, чтобы улавливать вибрации от музыки.

Благодаря некоторому сочетанию мозговых связей и практики у многих глухонемых от рождения развивается повышенная чувствительность к осязанию, и это может выражаться по-разному. Нейробиолог и музыкант Фрэнк Руссо исследует, как электрические сигналы в мозге отслеживают ритмы, обнаруженные с помощью вибротактильного ощущения, и его исходные данные показывают разные результаты у глухих и слышащих людей.
“До сих пор мы видели, что мозг глухих лучше справляется с воспроизведением ритма, чем мозг обычного слышащего человека”, — сказал Руссо, который изучает музыкальное познание, акустику и слуховое восприятие в Столичном университете Торонто.

Renken_BREAKER.jpg

Эвелин Гленни держит стойку с треугольниками в студии своих ударных инструментов. Будучи глухим музыкантом и исполнителем, Гленни показала миру, что звук — это восприятие всего тела.

В мозге глухих людей часть мозга, отвечающая за обработку звука, часто перепрофилируется. Без притока звуковых сигналов для интерпретации слуховая кора может перестроиться на прием сигналов от других органов чувств, таких как осязание и зрение.
Каждая часть мозга обычно в конечном итоге используется тем или иным образом, сказала Каролина Финк, ученый-когнитивист из Университета Николая Коперника.

Исследование Finc, опубликованное в 2020 году, показало, что у тех, кто оглох в раннем возрасте, цепи по всему мозгу реорганизованы с учетом потери слуха.
По ее словам, различным сетям пришлось научиться общаться друг с другом по-новому. Например, было обнаружено, что сеть, участвующая во внимании и решении проблем, более тесно связана с сетями, которые координируют моторные реакции, зрительные системы и память. “Весь мозг должен приспособиться”, — сказал Финк.

Поскольку у каждого слабослышащего человека своя история с музыкой, и поскольку каждый мозг индивидуален, то как и в какой степени вибротактильное чувство человека может компенсировать потерю слуха, будет разным. В любом случае, вибрация, передаваемая через прикосновение, предлагает множество музыкальных тонкостей, которые исследователи сейчас оценивают количественно.

Нейробиологи, которые исследуют сенсорное восприятие, исторически фокусировались на слуховой и зрительной системах. По словам Марио Прса, нейробиолога из Университета Фрибурга в Швейцарии, изучающего, среди прочего, то, как мозг координирует движение, вибротактильное чувство изучено менее хорошо.
“Мы почему-то пренебрегаем этим ощущением вибрации”, — сказал он. В 2016 и 2017 годах, когда Prsa был постдоком в лаборатории неврологии Даниэля Хубера в Женевском университете, он исследовал, как улучшить контроль сознания при протезировании. Чтобы обучить мышей активировать определенные нейроны в моторной коре, ключевой области для регулирования движения, он попытался дать им обратную связь в виде тактильных вибраций.

Документируя результаты, он случайно обнаружил удивительное поведение нейронов в соматосенсорной коре: разные наборы нейронов наиболее интенсивно реагировали на разные частоты вибрации. Prsa покопался в научной литературе, чтобы узнать, что другие до него узнали о поведении нейронов, за которыми он наблюдал, и ничего не нашел. Он не смог найти других описаний частотно-специфических реакций нейронов на вибрацию. Поэтому он и его коллеги из Женевского университета решили провести несколько экспериментов. Когда они посылали вибрации разной частоты и интенсивности через металлический стержень на кончики пальцев человека и передние конечности мышей, они подтвердили, что разные частоты вызывали реакцию у разных нейронов.

Это было важное открытие, потому что слуховая система человека 10 ведет себя аналогичным образом. Фактически, сенсорные системы слуха и осязания пересекаются многими интригующими способами. Даже у слышащих людей сигналы от вибротактильного ввода могут быть обнаружены слуховой корой, а тактильные и слуховые стимулы могут быть перепутаны, когда воспринимаются вместе или чередуются.

В слуховом восприятии слуховой сигнал также может изменить восприятие того, является ли объект, такой как пергаментная бумага, шероховатым или гладким. Как в слухе, так и в осязании механика восприятия вибрации по существу одинакова: чувствительные нервы, называемые механорецепторами, расположенные в улитке и по всему телу, изгибаются в ответ на изменения давления, вызывая нервный импульс, который отправляется в мозг.
Многие существа, такие как некоторые насекомые и грызуны, все еще в первую очередь общаются с помощью вибраций, а некоторые нейробиологи даже предположили, что слух развился у более сложных животных из вибротактильного чувства.

За последние одно-два десятилетия инженеры создали множество вибрирующих носимых устройств и устройств, которые призваны помочь глухим людям ощутить больше нюансов музыки: куртки, перчатки и браслеты для слушателей, а также стулья для барабанов и платформы для музыкантов.

Одно из носимых устройств, недавно прошедший бета-тестирование на концерте в Лас-Вегасе от Not Impossible Labs, компании, разрабатывающей инновационные технологии здравоохранения с открытым исходным кодом, немного похоже на ремень безопасности или рюкзак. Оно состоит из серии беспроводных датчиков, предназначенных для усиления и передачи вибраций различной частоты, закрепленных на спине, плечах и талии человека, а также на лодыжках и запястьях.

Но многие из существующих инструментов все еще относительно примитивны и в основном передают только басы и ритмы. Гленни, которая опробовала вибрирующие платформы, стулья и браслеты, говорит, что она обеспокоена тем, что подобные устройства могут сгладить тактильные ощущения от музыки. Ученые только начинают понимать, как уловить и передать истинную сложность, глубину и эмоциональный диапазон музыки с помощью прикосновения, перевести потрясающий вокал, глубокие басовые ноты и дребезжащие гитарные риффы в тактильные вибрации в сложных комбинациях частот и интенсивности, которые можно тонко почувствовать.

Мозг глухого человека может лучше воспроизводить ритм, чем мозг обычного слышащего человека.

“Если мы можем оптимизировать использование вибрации с помощью технологий, чтобы улучшить восприятие музыки людьми, страдающими потерей слуха или глухотой, то почему бы и нет?” — спрашивает Руссо. ”Мы только сейчас наблюдаем этот расцвет».

Когда проект «Музыкальные вибрации» при Университете Ливерпуля, группа, предоставляющая оборудование для преобразования музыки в вибрацию, предложила свою технологию глухому рэперу SignKid, он обнаружил, что это помогло ему не отставать от ритма. Они загрузили одну из его песен в оборудование, которое преобразовало треки с бас-гитарой, гитарой, ударным и малым барабаном в вибрации. Каждая босая ступня SignKid опиралась на два шейкера — красную и белую канистры, увенчанные круглыми пластинами, которые создавали вибрации, которые он ощущал пятками и передними лапами.
“Мне это нравится”, — сказал он команде Musical Vibrations. “Я мог бы использовать это”.
Команда одолжила ему оборудование, которое он использовал при создании своего EP 2019 года, The Visual Experience.

Некоторые музыкальные особенности тактильных вибраций очевидны: они могут эффективно передавать ритм. Анализы Руссо с помощью ЭЭГ показывают, что сигналы мозга, измеренные через кожу головы, пульсируют в такт музыкальному ритму, независимо от того, передавался ли этот ритм с помощью звука или прикосновения.15 По его словам, шаблон не такой четкий с “более фанковыми” последовательностями, которые имеют неравные временные интервалы. Но прикосновение может передать и гораздо более подробные аспекты музыки. Амплитуда звуковой волны, которая преобразуется в громкость в слуховой системе, воспринимается вибротактильной сенсорной системой как интенсивность давления. Частота создает ощущение высоты звука в обоих режимах.

Однако мы не так чувствительны к изменениям вибрации, как к изменениям звука, что затрудняет определение высоты тона. Согласно исследованиям Карла Хопкинса, руководителя проекта «Музыкальные вибрации», даже при обучении использовать вибрацию для определения разницы между соседними нотами, такими как До и До-диез,
было сложно как для глухих, так и для слышащих людей. Тем не менее, наши тела могут на ощупь определять основные подъемы и падения высоты звука, которые делают до мелодий. Мы также можем различать с помощью вибротактильного чувства высоту многих нот, издаваемых музыкальными инструментами и человеческим вокалом, хотя этот диапазон уже, чем для звука.
Без интерпретации звуков слуховая кора может перестроиться, чтобы получать сигналы от других органов чувств.

В то время как наши уши наиболее чувствительны к частотам от 2000 до 5000 Герц, диапазон вибротактили обычно составляет от 5 до 1000 Герц.
(Для справки, диапазон глубокого голоса для мужчин обычно составляет от 75 до 100 Герц.) Это означает, что многие из самых высоких тональных частот, которые обычно улавливает ухо, не могут быть уловлены, например, вибротактильным чувством — или не могут быть точно идентифицированы.
Но это также означает, что мы можем чувствовать определенные низкие частоты, даже когда мы их не слышим.

С помощью вибраций люди также могут определять различия в тембре, качество, которое формирует “цвет” звука, который мы слышим.
“Даже если вы возьмете два пианино, у них не совсем одинаковый тембр”, — сказал Руссо. “Они оба могли бы играть на средних до, но в рояле есть что-то более яркое по сравнению с вертикальным пианино”.
Просто прикоснувшись к вибрирующему устройству, как слышащие, так и глухие люди продемонстрировали способность определять различия между виолончелью, фортепиано и тромбоном, а такжекак между тусклыми и яркими звуками.

Прса и его сотрудники изучают, являются ли определенные комбинации частот более приятными для вибротактильной сенсорной системы, чем другие.
“Существует ли такая вещь, как вибротактильная октава?” .
“Есть ли что-то похожее на диссонирующие ноты?”
Он и его сотрудники начали исследовать эти вопросы с помощью простого мелодического эксперимента: проверка того, насколько легко глухие и слышащие участники могут идентифицировать базовые мелодии, такие как “С днем рождения”, по вибрациям, ощущаемым на ощупь. Перевод звука в вибрации, которые можно ощутить на ощупь, — несовершенная наука.
Поскольку диапазон частот, определяемых на ощупь, уже и ниже, чем диапазон, определяемый на слух, и поскольку различать соседние тона сложнее, некоторые ноты изменяются в процессе. Prsa хотелось посмотреть, как эти изменения — в частности, интервал между одной частотой и другой — влияют на способность испытуемых идентифицировать мелодию. Результаты этой работы еще не опубликованы.

Исследователи также пытаются понять, какая часть эмоций в музыке передается через вибротактильное восприятие.
“С помощью вибрации вы можете получить важные аспекты вокальных эмоций”, — сказал Руссо. “Вы можете почувствовать усталость в чьем-то голосе, твердость в чьем-то гневе”. Для Гленни низкочастотные вибрации несут в себе больше эмоций, в то время как высокочастотные вибрации лишены их. Байрон Ремаш-Винуэса из Университета Малаги описал эмоциональный диапазон тактильных вибраций в разных терминах: переключать музыку со звука на вибрацию — это как есть любимое блюдо, которое готовила твоя мама, только в пюре. Это просто не тот эмоциональный опыт.
Но он в восторге от идеи создания новой музыки с нуля исключительно в вибрациях — без звука — возможно, с помощью уникальных инструментов, предназначенных для создания только вибраций, или с помощью цифровой композиции.

Еще одним препятствием для перевода существующей музыки в вибрацию является разделение различных звуков. Многие современные технологии пока могут обрабатывать только ту музыку, которая уже разделена на отдельные звуковые дорожки для каждого инструмента или слоя нот, сказал Марк Флетчер из Института исследований звука и вибрации при Университете Саутгемптона. Но, по его словам, трудно “де-микшировать” звук хорошо.

Даже самые передовые алгоритмы, которые загружают музыку в вибрирующее оборудование, с трудом учитывают то, как более низкие и интенсивные вибрации маскируют другие, и то, как разные инструменты могут привлекать больше внимания в разные моменты песни. Без надежных способов разделения различных инструментов в пьесе и составления сбалансированных сигналов в форме вибраций, вибрациям, исходящим от этих систем, будет не хватать нюансов музыки, которая входит в них.

За годы исследований Хопкинс видел, как многие слабослышащие люди тестировали систему его команды, поглощая вибрации руками и ногами. Некоторые предпочитали способы, которыми они уже взаимодействовали со звуком. Гленни, например, ценит сложность вибраций, которые она может ощущать своим телом, когда они исходят непосредственно от различных инструментов, на которых играют, и от построенных условий концертных залов и репетиционных залов. Но она рада, что эти эксперименты продолжаются и что более широкая аудитория получит возможность опробовать технологии.

Некоторые инвалиды по слуху увлекаются ощущением музыки, передаваемой вибротактильными инструментами.
Одна испытуемая сказала Хопкинс, что она никогда не понимала разницы между белыми и черными клавишами на пианино. И когда команда принесла свою вибрационную систему в школу для глухих, учителя сообщили, что ученики гораздо больше занимаются уроками музыки.

“Детям это действительно понравилось”, — сказал Хопкинс. Один мальчик просто возвращался во время перерыва, стучал в дверь и спрашивал: “Могу я снова поиграть на оборудовании?”

Как глухие воспринимают музыку

Так уж совпало, что в прошлой нашей статье мы рассказывали о том, как слепые пользуются компьютером и даже становятся успешными программистами, а сегодняшний материал посвящён глухим. Оказывается, они не только могут ходить на концерты и воспринимать музыку, но даже становиться знаменитыми исполнителями и композиторами. Наш мозг способен удивительным образом приспосабливаться, особенно, если немного ему помочь.

Эвелин Гленни — шотландская перкуссионистка и композитор, обладательница премии Грэмми, которая даёт по сотне концертов в год. А ещё она глухая с 12 лет. Гленни потеряла слух на 90% из-за заболевания нервной системы и в тот же период начала обучаться игре на ударных. Ее учитель задумался, как можно использовать вибрации, исходящие от литавр после удара, в обучении девочки. «Он попросил меня прижать ладонь к стене», — рассказывает Гленни. Она могла чувствовать первый удар по барабану, а ещё – вибрации, которые этот удар порождал. «Моё тело будто замедлилось, потому что я отдала всё внимание тому, как перемещается звук», — объяснила она. «Я следила за звуком всем телом. Это изменило для меня всё. Изменило то, как я воспринимаю прикосновения». Так Гленни научилась различать высоту музыкальных нот.

Многие люди с нарушениями слуха ходят на концерты или наслаждаются музыкой у себя дома посредством осязания, зрения и движения. Некоторые уникумы, такие как Гленни, играют на музыкальных инструментах или профессионально поют. Сегодня ученые узнают всё больше о том, как наши тела и мозг обрабатывают вибрации, проводят множество новых исследований. В процессе они осознают, как музыка проходит сквозь нас, создавая симфонии чувств. Всё это может помочь глухим людям лучше оценить сложность и эмоциональный диапазон музыки как в качестве слушателей, так и в роли исполнителей.

Люди с обычным слухом воспринимают музыку и другие звуки через вибрации определенных частот — в слышимом диапазоне от 20 до 20 000 герц, — которые распространяются по воздуху и улавливаются крошечными сенсорными клетками улитки, органа нашего внутреннего уха. Но музыку можно воспринимать и через осязание. Звуковые волны можно ощущать как давление воздуха на кожу или в форме вибрации, когда звук проходит через твердые материалы, такие как дека гитары или пол сцены, где их можно уловить руками, телом и ногами. Вибрации также могут ощущаться мембранами между костями и стенками внутренних полостей, таких как легкие и грудная клетка.

Глухие уже давно используют осязание для восприятия вибраций звука, это называется вибротактильным чувством. Некоторые люди с ослабленным слухом, которые любят посещать концерты, берут с собой воздушные шары, чтобы лучше чувствовать акустические вибрации через тонкую резину. А Гленни известна тем, что выступает босиком, так она может лучше чувствовать вибрации, пульсирующие на сцене. Говорят, что после того, как Бетховен стал глухим, он сделал себе что-то вроде слухового аппарата из палки: стиснул один конец зубами, а другой положил на пианино, чтобы улавливать вибрации музыки.

Благодаря сочетанию нервных «проводов» и практики у многих глухих от рождения развивается повышенная вибротактильная чувствительность. Это может выражаться по-разному. Нейробиолог и музыкант Фрэнк Руссо исследует, как электрические сигналы в мозге отслеживают биения, регистрируемые с помощью вибротактильных ощущений, и его исходные данные показывают разные результаты у глухих и слышащих людей. «До сих пор мы видели, что мозг глухого лучше справляется с представлением ритма, чем мозг обычного слышащего человека», — сказал Руссо, изучающий музыкальное познание, акустику и слуховое восприятие в Университете Торонто Метрополитен.

Эвелин Гленни держит стойку с треугольниками в студии своих перкуссионных инструментов.

Эвелин Гленни держит стойку с треугольниками в студии своих перкуссионных инструментов.

У глухих людей часть мозга, обрабатывающая звук, часто переназначается. Без притока звуковых сигналов слуховая кора может перестроиться, чтобы получать сигналы от других органов чувств, таких как осязание и зрение. Каждая часть мозга обычно так или иначе используется. Исследование Finc, опубликованное в 2020 году, показало, что у тех, кто стал глухим в раннем возрасте, цепи мозга реорганизовались, чтобы приспособиться к потере слуха. Различным сетям пришлось научиться общаться друг с другом по-новому. Например, было обнаружено, что сеть, связанная с вниманием и решением проблем, более тесно связана с сетями, которые координируют двигательные реакции, зрительные системы и память.

Поскольку у каждого слабослышащего человека своя история знакомства с музыкой и каждый мозг уникален, то степень развития вибротактильного чувства может различаться. В любом случае, вибрация, передаваемая через прикосновение, может раскрыть множество музыкальных тонкостей, которые исследователи сейчас измеряют.

Нейробиологи, изучающие сенсорное восприятие, исторически сосредотачивались на слуховой и зрительной системах. Вибротактильное чувство менее изучено. «Мы почему-то пренебрегаем этим ощущением вибрации», — говорит Марио Прса, нейробиолог из Университета Фрибура в Швейцарии. В 2016 и 2017 годах, когда Прса был постдоком в лаборатории нейробиологии Даниэля Хубера в Женевском университете, он исследовал, как улучшить контроль разума над протезами. Чтобы научить мышей активировать определенные нейроны в моторной коре, ключевой области для регуляции движения, он попытался дать им обратную связь в виде вибраций.

Документируя результаты, он случайно обнаружил удивительное поведение нейронов соматосенсорной коры: разные наборы нейронов наиболее интенсивно реагировали на разные частоты вибрации. Прса решил порыться в научной литературе, чтобы узнать, что другие учёные успели узнать о поведении нейронов, за которыми он наблюдал. Он ничего не нашел. Ему не удалось обнаружить описаний частотно-специфических реакций нейронов на вибрацию. Поэтому Прса и его коллеги из Женевского университета решили провести несколько экспериментов. Когда они отправили вибрации с разной частотой и интенсивностью через металлический стержень на кончики пальцев человека и передние конечности мыши, ​ то подтвердили, что разные частоты вызывают ответы от разных нейронов.

Это было важным открытием, поскольку слуховая система человека ведет себя аналогичным образом. На самом деле, сенсорные системы, отвечающие за слух и осязание, во многом перекрываются. Даже у слышащих людей сигналы от вибротактильного входа могут быть обнаружены слуховой корой, а тактильные и слуховые стимулы могут быть перепутаны при совместном или поочередном восприятии. Слух даже способен повлиять на тактильное восприятие, например, является ли пергаментная бумага шероховатой или гладкой. Как при слухе, так и при осязании механизм восприятия вибрации по существу одинаков: сенсорные нервы, называемые механорецепторами, расположенные в улитке и по всему телу, изгибаются в ответ на изменения давления, запуская нервный импульс, который отправляется в мозг. Многие существа, например, некоторые насекомые и грызуны, до сих пор в основном общаются с помощью вибраций, и нейробиологи даже предположили, что слух развился у более сложных животных из вибротактильного чувства.

За последнюю пару десятилетий инженеры создали множество вибрирующих устройств, которые призваны помочь глухим людям ощутить больше нюансов музыки: специальные куртки, перчатки и браслеты для слушателей, барабанные табуреты и платформы для музыкантов. Одно устройство, недавно протестированное на концерте в Лас-Вегасе компанией Not Impossible Labs, разрабатывающей инновационные медицинские технологии с открытым исходным кодом, напоминает рюкзак. Он состоит из серии беспроводных датчиков, предназначенных для усиления и передачи вибраций разных частот, которые закрепляются на спине, плечах и талии человека, а также на лодыжках и запястьях.

Но многие из существующих инструментов все еще относительно грубы и в основном передают только басы и биты. Гленни, которая пробовала вибрирующие платформы, стулья и браслеты, говорит, что ее беспокоит то, что подобные устройства могут урезать тактильные ощущения от музыки. Ученые только начинают понимать, как с помощью прикосновения улавливать и передавать истинную сложность, глубину и эмоциональный диапазон музыки, переводить богатый вокал, глубокие басовые ноты и звенящие гитарные риффы в тактильные вибрации с замысловатым сочетанием частот и интенсивности, которые можно прекрасно прочувствовать.

«Если мы можем оптимизировать использование вибрации с помощью технологий, чтобы улучшить качество музыки для людей с нарушением слуха или глухотой, то почему бы и нет?» — спрашивает Руссо. «Мы наблюдаем расцвет этих технологий».

Так проект Musical Vibrations, который предоставляет оборудование для преобразования музыки в вибрацию, предложил свою технологию глухому рэперу SignKid. Это помогло ему не отставать от ритма. Они загрузили одну из его песен в оборудование, которое преобразовало треки с бас-гитарой, гитарой, бочкой и малым барабаном в вибрации. SignKid ставил босые ноги на два шейкера — красные и белые канистры, увенчанные круглыми пластинами, — которые производили вибрации. Рэпер ощущал эти вибрации ступнями. SignKid оценил новый опыт, и команда Musical Vibrations одолжила ему оборудование для создания альбома 2019 года The Visual Experience.

Некоторые преимущества тактильных вибраций в отношении музыки очевидны: они могут эффективно передавать ритм. Анализ Руссо, сделанный с помощью ЭЭГ, показывает, что сигналы мозга пульсируют в такт музыкальному ритму. При этом не важно, каким образом передавался сигнал: через слух или прикосновение. По его словам, картина не такая четкая с «более фанковыми» последовательностями, которые имеют неравные временные интервалы. Но прикосновение также может передать гораздо более подробные аспекты музыки. Амплитуда звуковой волны, которая преобразуется в громкость в слуховой системе, ощущается вибротактильной сенсорной системой как интенсивность давления. Частота создает ощущение высоты тона в обоих режимах.

Однако мы не так чувствительны к изменениям вибрации, как к изменениям звука, что затрудняет определение высоты тона. Согласно исследованию Карла Хопкинса, руководителя проекта Musical Vibrations , даже при обучении использованию вибрации, определение разницы между соседними нотами, такими как до и до-диез, оказалось затруднительным как для глухих, так и для слышащих людей. Тем не менее, наши тела могут определять посредством прикосновения основные повышения и понижения высоты тона, из которых состоят мелодии. Мы также можем различать с помощью вибротактильного чувства высоту тона многих нот, воспроизводимых музыкальными инструментами и человеческим вокалом, хотя этот диапазон уже, чем у звука.

В то время как наши уши наиболее чувствительны к частотам от 2000 до 5000 герц, вибротактильный диапазон обычно находится между 5 и 1000 герц. (Для справки: диапазон низких частот для мужчин обычно находится в диапазоне от 75 до 100 герц.) Это означает, что многие из самых высоких тональных частот, которые обычно воспринимает ухо, не могут быть уловлены вибротактильным чувством или не могут быть точно идентифицированы. Но это также означает, что мы можем чувствовать определенные низкие частоты, даже если мы их не слышим.

С помощью вибраций люди также могут определять различия в тембре. «Даже если вы возьмете два фортепиано, они не будут иметь совершенно одинаковый тембр», — сказал Руссо. «Они оба могли бы играть среднюю до, но в рояле есть что-то более яркое, чем, например, в пианино». Просто прикоснувшись к вибрирующему гаджету и слышащие, и глухие люди продемонстрировали способность различать виолончель, фортепиано и тромбон, а также глухие и яркие звуки.

Прса и его сотрудники изучают, являются ли определенные комбинации частот более приятными для вибротактильной сенсорной системы, чем другие. «Существует ли такая вещь, как вибротактильная октава?» Прса задумался. «Есть ли что-то похожее на диссонирующие ноты?» Он и его сотрудники начали исследовать эти вопросы с помощью простого эксперимента: проверить, насколько легко глухие и слышащие участники могут распознавать основные мелодии, такие как «Happy Birthday», с помощью вибраций, ощущаемых при прикосновении. Преобразование звука в вибрации, которые можно ощутить, — несовершенная наука. Поскольку диапазон частот, воспринимаемых на ощупь, уже и ниже, чем диапазон, воспринимаемый на слух, и поскольку труднее различить соседние тона, некоторые ноты при этом изменяются. Прса хотел посмотреть, как эти изменения — в частности, расстояние между одной частотой и другой — влияли на способность испытуемых идентифицировать мелодию. Результаты этой работы еще не опубликованы.

Исследователи также пытаются понять, какая часть эмоций в музыке передается через вибротактильные ощущения. «С помощью вибрации вы можете получить важные аспекты голосовых эмоций», — сказал Руссо. «Вы можете почувствовать усталость в чьем-то голосе, твердость в чьем-то гневе». Для Гленни низкочастотные вибрации несут больше всего эмоций, в то время как высокочастотные вибрации их лишены. Байрон Ремаше-Винуэса из Университета Малаги описал эмоциональный диапазон тактильных вибраций в различных терминах: «Переключать музыку со звука на вибрацию — это все равно, что есть любимое блюдо, которое готовила ваша мама, только в виде пюре». Это просто не тот эмоциональный опыт. Но он вдохновлён идеей создания новой музыки с нуля исключительно с помощью вибраций — без звука — возможно, с помощью уникальных инструментов, предназначенных для создания только вибраций, или с помощью программ.

Еще одним препятствием для перевода существующей музыки в вибрацию является разделение различных звуков. «Многие современные технологии пока могут обрабатывать только музыку, которая уже разделена на отдельные аудиодорожки для каждого инструмента или слоя нот», — сказал Марк Флетчер из Института исследования звука и вибрации Саутгемптонского университета. Но, по его словам, сложно хорошо «демикшировать» звук. Даже самые продвинутые алгоритмы, передающие музыку на вибрирующее оборудование, с трудом понимают, как более низкие и более интенсивные вибрации маскируют другие, и как разные инструменты могут привлекать больше внимания в разные моменты песни. Без надежных способов разделения различных инструментов в музыкальной композиции и составления сбалансированных сигналов, вибрации, исходящие из этих систем, будут лишены нюансов, присущих музыке.

За годы исследований Хопкинс видел, как многие слабослышащие люди тестировали систему его команды, принимая вибрации руками и ногами. Некоторые предпочли способы, которыми они уже взаимодействовали со звуком. Гленни, например, ценит сложность вибраций, которые она может ощущать своим телом, когда они исходят непосредственно от различных инструментов и от встроенной среды концертных залов или репетиционных комнат. Но она рада, что эти эксперименты продолжаются и что более широкие слои населения получат возможность опробовать технологии.

Некоторые глухие увлекаются ощущением музыки, передаваемой вибротактильными инструментами. Одна испытуемая сказала Хопкинсу, что никогда не понимала разницы между белыми и черными клавишами на фортепиано. А когда команда привезла свою вибрационную систему в школу для глухих, учителя сообщили, что учащиеся стали намного больше заниматься музыкой. «Дети действительно прониклись этим», — сказал Хопкинс. Один мальчик возвращался во время перерыва, стучал в дверь и спрашивал: «Можно я снова поиграю на оборудовании?»

Источники:

knife.media/sound-as-vibration/

studopedia.ru/16_110879_vospriyatie-gluhimi-muziki-posredstvom-vibratsionnoy-chuvstvitelnosti.html

www.deafworld.ru/poleznaya-informatsiya/muzyka-dlya-glukhikh/

www.inva.news/articles/people/kak_mozg_pozvolyaet_glukhim_vosprinimat_muzyku/

habr.com/ru/company/cloud4y/blog/679632/

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *