Новые нейросетевые технологии резервуарных вычислений для "интернета вещей"

Всего в рамках конкурса поддержано 850 проектов, планируемых к реализации в 2022–2024 годах с последующим возможным продлением срока выполнения на один или два года.

Руководитель проекта "Новые нейросетевые технологии резервуарных вычислений для интеграции искусственного интеллекта в периферийные устройства "интернета вещей", − Андрей Александрович Величко, доцент Физико-технического института, руководитель учебно-научной лаборатории по разработке электронной компонентной базы на основе микро- и наноструктур:

Проект направлен на разработку новых нейросетевых технологий на базе резервуарных вычислений и применению этих технологий для интеграции искусственного интеллекта в периферийные устройства "интернета вещей".

Слово резервуар мы редко слышим применительно к нейронным сетям, хотя в науке термин “резервуарные вычисления” давно закрепился, и некоторые ученые склонны считать наш мозг тоже подобием резервуара.

Актуальность исследования резервуарных вычислений определяется их эффективностью при решении задач прогнозирования (погодные изменения, финансовые данные), диагностики и предсказания отказов оборудования, управления нелинейными системами (робототехника, автомобили, летательные аппараты). Кроме того, резервуарные вычисления могут эффективно использоваться для предсказательной медицины, когда на входе мы имеем множество медицинских параметров, например, развернутый анализ крови, а на выходе нейронная сеть выдает диагноз в виде вероятности определенных заболеваний.

Классическая идея РВ заключается в использовании рекуррентной нейронной сети как резервуара с богатой динамикой и мощными вычислительными возможностями. Простым словами поступающая на вход резервуара информация активно трансформируется в новую форму, которая обрабатывается последующими участками нейронной сети более эффективно. Обучению подвергаются только выходные нейронные сети (линейные классификаторы), которые соединяются с помощью весовых матриц с нейронами из резервуара.

В настоящем проекте сформулированы новые подходы к формированию резервуара основанные на применении хаотических осцилляторов и на применении цифровых хаотических отображений. Использование детерминированного хаоса в резервуаре крайне необходимо, так как учеными проекта ранее было показано, что чем сильнее хаос в резервуаре, тем более сложным образом входная информацию может преобразовываться в новую форму и тем лучше она анализируется выходными нейронными сетями. Новая конфигурация сети получила название LogNNet. В это связи очень ярким примером является решение обратной задачи, предложенное руководителем проекта Величко А.А., по оценке энтропии хаоса нейронной сетью опубликованное в престижном журнале Entropy.

В  проекте также планируется разработка новых архитектур нейронных сетей для резервуарных вычислений, эффективно использующих оперативную память за счет свойств хаотических отображений. Это направление очень актуально, так как популярные нейронные сети глубокого обучения, базирующихся на сложных схемах с применением сверточных фильтров требуют значительных вычислительных ресурсов не только в процессе обучения, но и в режиме работы, для чего используются массивы тензорных процессоров, установленных в дата-центрах. В качестве примера можно ознакомиться с работой коллектива по распознаванию фотографий рукописных цифр на маломощном контроллере семейства Arduino.

Разработка новых нейросетевых технологий, которые могли бы с успехом внедряться в интернет вещей, применяться для ассистирования человеку в повседневной жизни, в здравоохранении, “умном доме”, при этом потребляя незначительные вычислительные ресурсы, является актуальной проблемой современности.

Ставятся задачи развития и изучения резервуарных вычислений с функциями ассоциативной памяти, распознавания образов и кодирования данных по трем основным направлениям:

1) Разработка новых архитектур резервуарных вычислений на основе хаотических отображений;

2) Разработка новых архитектур резервуарных вычислений на базе импульсных нейронных сетей;

3) Создание новых нейросетевых архитектур с эффективным использованием вычислительных ресурсов для интеграции искусственного интеллекта в периферийные устройства  интернета вещей.

Все три направления имеют научную значимость и связаны между собой в предлагаемом проекте.

О втором проекте ПетрГУ, победившем в конкурсе грантов РНФ, читайте на сайте.