ORCA BEHAVIOUR PREDICTION
2020 / MEDIA ART

В основе проекта лежит идея о возможности воссоздания сигналов аудиальной коммуникации морских млекопитающих, используя рекурентные нейросети, активно применяющиеся для анализа и синтеза человеческой речи, музыки, звуков. 

Возможности наблюдения за видами и их поведением, особенностями коммуникации позволяют выделить паттерны и научиться их копировать, предсказывая поведение видов (движение, поведение в группах, поведение в изоляции).

КУРАТОР:

Елена Никоноле

Спектрограмма аудио из датасета

Спектрограмма аудио сгенерированного SampleRNN

Датасет:

 

100 минут подводных записей южных арктических косаток, выполненных с применением гидроакустических технологий, разбитые на сэмплы по 8 секунд.

Нейросеть:
 

A PyTorch implementation of SampleRNN:
An Unconditional End-to-End Neural Audio Generation Model (Google Colab)

Логика работы инсталляции

Проект предлагается к экспонированию в виде аудио-визуальной инсталляции, репрезентирующей бесконечный диалог нескольких источников сигналов в замкнутой среде. Итоговая логика функционирования системы хаотична и определяется поведением нейросети и алгоритмами машинного обучения.

В качестве входных данных используются видеоматериалы поведения косаток в неволе, а также записи поведения косаток в разные поведенческие циклы.

Входные данные анализируются на этапе тренировки алгоритмов, после чего инсталляция работает без них, бесконечно генерируя новые паттерны поведения и звуковые сигналы.

ПРОЕКТ В РАЗРАБОТКЕ

© 2020 by Vlad Kononkov.

All rights reserved.

  • Instagram
  • Facebook
  • YouTube