В основе проекта лежит идея о возможности воссоздания сигналов аудиальной коммуникации морских млекопитающих, используя рекурентные нейросети, активно применяющиеся для анализа и синтеза человеческой речи, музыки, звуков.
Возможности наблюдения за видами и их поведением, особенностями коммуникации позволяют выделить паттерны и научиться их копировать, предсказывая поведение видов (движение, поведение в группах, поведение в изоляции).
КУРАТОР:
Елена Никоноле
Спектрограмма аудио из датасета
Спектрограмма аудио сгенерированного SampleRNN
Датасет:
100 минут подводных записей южных арктических косаток, выполненных с применением гидроакустических технологий, разбитые на сэмплы по 8 секунд.
Нейросеть:
A PyTorch implementation of SampleRNN:
An Unconditional End-to-End Neural Audio Generation Model (Google Colab)
Логика работы инсталляции
Проект предлагается к экспонированию в виде аудио-визуальной инсталляции, репрезентирующей бесконечный диалог нескольких источников сигналов в замкнутой среде. Итоговая логика функционирования системы хаотична и определяется поведением нейросети и алгоритмами машинного обучения.
В качестве входных данных используются видеоматериалы поведения косаток в неволе, а также записи поведения косаток в разные поведенческие циклы.
Входные данные анализируются на этапе тренировки алгоритмов, после чего инсталляция работает без них, бесконечно генерируя новые паттерны поведения и звуковые сигналы.
ПРОЕКТ В РАЗРАБОТКЕ