ORCA BEHAVIOUR PREDICTION
2020 / MEDIA ART

В основе проекта лежит идея о возможности воссоздания сигналов аудиальной коммуникации морских млекопитающих, используя рекурентные нейросети, активно применяющиеся для анализа и синтеза человеческой речи, музыки, звуков. 

Возможности наблюдения за видами и их поведением, особенностями коммуникации позволяют выделить паттерны и научиться их копировать, предсказывая поведение видов (движение, поведение в группах, поведение в изоляции).

КУРАТОР:

Елена Никоноле

original 1.png

Спектрограмма аудио из датасета

generated 1.png

Спектрограмма аудио сгенерированного SampleRNN

Датасет:

 

100 минут подводных записей южных арктических косаток, выполненных с применением гидроакустических технологий, разбитые на сэмплы по 8 секунд.

Нейросеть:
 

A PyTorch implementation of SampleRNN:
An Unconditional End-to-End Neural Audio Generation Model (Google Colab)

0.png

Логика работы инсталляции

Проект предлагается к экспонированию в виде аудио-визуальной инсталляции, репрезентирующей бесконечный диалог нескольких источников сигналов в замкнутой среде. Итоговая логика функционирования системы хаотична и определяется поведением нейросети и алгоритмами машинного обучения.

В качестве входных данных используются видеоматериалы поведения косаток в неволе, а также записи поведения косаток в разные поведенческие циклы.

Входные данные анализируются на этапе тренировки алгоритмов, после чего инсталляция работает без них, бесконечно генерируя новые паттерны поведения и звуковые сигналы.

ПРОЕКТ В РАЗРАБОТКЕ