Два момента являются важнейшими в мобильном творчестве с «расширенной» реальностью и, соответственно, в открывающихся новых возможностях: виртуальное пространство и «реальная» мобильность. Вся система в целом предоставляет музыканту – композитору и исполнителю – виртуальную сцену, которая находится в его полном распоряжении и под полным контролем. Соответственно, музыкант получает возможности режиссёра и дирижёра этой своеобразной виртуальной концертной площадки. Становится возможным размещать виртуальных исполнителей согласно предварительному или сиюминутному замыслу; открывается возможность менять форму и структуру этого пространства в процессе исполнения; мы можем дать слушателю возможность оказаться в любом месте виртуальной сцены. И, что немаловажно, весь этот процесс происходит визуально и в реальном времени. Технически, компьютерная программа выступает генератором виртуального пространства, а мобильное устройство выступает навигатором и/или «окном» в этом пространстве. В итоге мы получаем персональное виртуальное пространство, которое мы визуализируем и взаимодействуем с ним.

Уверенная, творчески мотивированная коммуникация при коллективном исполнении в интерактивной музыке – достаточно трудно достижимая цель. С этой проблемой мы ощутимо  столкнулись в ходе предыдущего проекта EXPLAIN. Достаточно подробно я об этом пишу в статье, если кратко – в интерактивной музыке  композитору достаточно непросто передать, а исполнителям сложно  сохранять единое эмоциональное состояние в каждый момент музыкального времени. Без возникновения же единого эмоционального поля не получается выйти ни из весьма ограниченного стилевого «коридора», ни из ситуации внезапного исчезновения исполнительской творческой «потенции».
Другими словами, в случае распределённого исполнения интерактивной музыки создание системы коммуникации исполнителей становится первоочередной задачей. Проблемы коммуникации в рамках данного проекта мы попытались решить через цвето-эмоциональные пары.
В философии и, особенно, психологии довольно часто рассматриваются соотношения цветов и вызываемых ими эмоций. Соотношение эмоции и цвета зависит от очень многих условий, часто совершенно по-разному трактуется в различных культурах, эпохах, философиях. Тем не менее, на базовом уровне, например, более холодные цвета отличаются по восприятию от более тёплых, менее интенсивные – от более интенсивных. Поэтому выбор «пар» – какой эмоции соответствует тот или иной цвет – был и неслучаен, и, одновременно, стал определённым соглашением, своеобразной «конвенцией» между участниками проекта.

Анализ ключевых трудов по психологии позволил сформировать своеобразный «рейтинг» базовых эмоций человека исходя из того, какие эмоции считает основными тот или иной исследователь/исследователи. Всего было выделено 197 различных эмоций, из которых для проекта, на данном этапе, мы оставили 16 с наибольшим «рейтингом»:

Каждый конкретный маркер, отвечающий за определённый звуковой элемент, который, в свою очередь, имел определённую эмоциональную характеристику, соединялся с определённым цветом. Получившиеся пары «маркер-цвет» произвольно размещались на листах бумаги (последнее использовалось, чтобы улучшить «читаемость» маркеров). Таким образом, исполнители «двигались» по схеме эмоция->цвет->звук (что принципиально отличается от, к примеру, «скрябинского» звук->цвет->эмоция), поскольку руководствовались цветом для выбора маркера – и, соответственно, звукового элемента.

Во второй композиции в качестве основы использовался визуальный ряд, для чего был взят короткометражный анимационный фильм «Destino». По разным причинам, оригинальный саундтрек у него не слишком подходящий, поэтому уже предпринимались попытки «переозвучивания» фильма. Также в данном проекте  поступили и мы. Однако главная причина такого выбора состояла в том, что для создания эмоциональной «партитуры» (т. е., стартовой точки исполнения в концепции проекта ColorEmotion) захотелось использовать последовательность эмоционально ярких визуальных образов, для чего фильм подходил как нельзя лучше.
Одна из версий сюжета «Destino»– любовь бога времени Кроноса к смертной девушке. Колокол в фильме выступает как символ времени и становится единым (и единственным) звуковым образом в саундтреке. Звук колокола несёт смысловую и эмоциональную информацию по всей ширине спектра, поэтому звуковые элементы саундтрека – те, что «закреплены» за маркерами – не что иное, как спектральные «части» реального колокольного звучания.

Другие проекты дополненной реальности

Digital Signal Processing

Это своеобразный микшерный пульт или, скорее, пульт эффектов.
Я намеренно отказался на данном этапе от использования «продвинутых» 3D моделей – с тем, чтобы сконцентрироваться на музыкальном компоненте этой относительно сложной синтетической формы.  В реальном приложении можно было бы закрепить за каждым маркером любой, сколь угодно сложный обработчик звука. И самих фильтров, в итоге, может быть сколь угодно много и менять их функционал можно «на лету», в режиме реального времени.
Звучащее произведение (Max Richter, "Embers") обрабатывается следующими 4 фильтрами эффектов:

1. Низкочастотный фильтр

2. Высокочастотный фильтр

3. Ревербератор

4. Дисторшн

«Чёрный» маркер – для относительной ориентации остальных маркеров.

Музыкальная палитра

«Сцена» или «палитра» из 16 маркеров, за каждым из которых закреплён определённый звуковой элемент. Закрывая (например, рукой) часть маркеров, мы «выключаем» невидимые в данный момент звуки и интерактивно меняем общий звуковой образ.

Виртуальная Музыкальная Сцена

У нас имеется виртуальная сцена, на которой мы размещаем произвольное, нужное нам количество исполнителей и так располагаем их в пространстве, как это нужно нам как режиссёрам-дирижёрам.
Мобильный телефон в пространственном отношении здесь подобен слушателю или, если посмотреть со звукорежиссёрской точки зрения, виртуальному микрофону. Соответственно, мы можем произвольно перемещать слушателя-микрофон в пространстве «расширенной» реальности – пододвигать ближе или отодвигать дальше, менять планы, размещать внутри группы виртуальных исполнителей или ближе к конкретному исполнителю – и всё это в реальном времени, что сразу же заметно в реально слышимом звучании.
Положение исполнителей соответствует видимому : те, кто находятся слева, звучат слева, те кто справа – соответственно справа. Иначе говоря, стереокартинка всегда корректная и меняется в реальном времени.
Мы можем в процессе менять стиль – или, говоря компьютерно-джазовым языком, стилевые «паттерны», – оставляя исполнителей на тех же местах в виртуальном пространстве.