Новые нейросетевые технологии резервуарных вычислений для интеграции искусственного интеллекта в периферийные устройства "интернета вещей"
Руководитель: Величко Андрей Александрович
Заказчик: Российский научный фонд
Срок выполнения: 13.05.2022 − 31.12.2024
Проект посвящен разработке новых нейросетевых технологий на базе резервуарных вычислений (РВ) и исследованию влияния нелинейных эффектов динамических систем, составляющих резервуар, на когнитивные свойства нейронных сетей, и применению этих технологий для интеграции искусственного интеллекта в периферийные устройства «интернета вещей».
Нейронные сети представляют собой универсальный инструмент для решения задач обработки больших объемов разнообразной и неполной диагностической информации в таких областях, как прогнозирование, моделирование, управление, оптимизация и анализ данных. Разработка новых нейросетевых технологий, которые могли бы с успехом внедряться в интернет вещей, применяться для ассистирования человеку в повседневной жизни, в здравоохранении, “умном доме”, при этом потребляя незначительные вычислительные ресурсы, является актуальной проблемой современности. В настоящее время активно развиваются исследования сетей глубокого обучения, базирующихся на сложных схемах с применением сверточных фильтров. Подобные нейронные сети требуют значительных вычислительных ресурсов не только в процессе обучения, но и в режиме работы, для чего используются массивы тензорных процессоров, установленных в дата-центрах. Для интеграции искусственного интеллекта (AI - от англ. Artificial Intelligent) в интернет вещей (IoT - от англ. Internet of Things) необходимы специальные архитектуры, которые мало потребляют оперативную память (RAM) и ресурсы процессора, при этом могут работать на периферийных микроконтроллерах с невысоким объёмом RAM единицы и десятки килобайт. Для решения данной проблемы в настоящем проекте планируется разработка новых архитектур нейронных сетей, на основе резервуарных вычислений (РВ), эффективно использующих оперативную память.
Резервуарные вычисления вызывают нарастающий интерес у мировой научной общественности. Так, только за 2019-2021 гг. в журналах серии Nature можно найти порядка 550 публикаций с ключевым выражением “reservoir computing”. Наиболее популярными являются нейронные эхо-сети (echo state networks, ESN) и машины неустойчивых состояний (liquid state machines, LSM).
Актуальность исследования резервуарных вычислений определяется их эффективностью при решении задач прогнозирования (погодные изменения, финансовые данные), диагностики и предсказания отказов оборудования, управления нелинейными системами (робототехника, автомобили, летательные аппараты). Кроме того, резервуарные вычисления могут использоваться для предобработки данных с помощью адаптивной фильтрации и шумоподавления и последующей классификации видео- и аудиоинформации.
Основная идея РВ заключается в использовании рекуррентной нейронной сети (РНС) как резервуара с богатой динамикой и мощными вычислительными возможностями. Весовые коэффициенты резервуара формируются случайным образом, что исключает необходимость проводить его обучение. Обучению подвергаются только выходные нейронные сети (линейные классификаторы), которые соединяются с помощью весовых матриц с нейронами из резервуара. Это позволяет значительно экономить вычислительные ресурсы в случае использования физического резервуара. В недавней работе мы показали, что резервуаром может служить не только РНС, но и набор хаотических фильтров, построенных на основе математических отображений, например, логистического отображения в режиме динамического хаоса.
Для решения проблемы интеграции AI и IoT в настоящем проекте планируется разработка новых архитектур нейронных сетей для резервуарных вычислений, эффективно использующих оперативную память за счет свойств хаотических отображений, а также разработка физических резервуаров на основе аналоговых компонентов. Физические резервуары планируется создавать на базе импульсных нейронных сетей, в том числе осцилляторных нейронных сетей. Под термином “физический резервуар” понимается динамическая система с обратными связями, созданная на основе физических эффектов.
Особую роль в работе резервуара играют его динамические характеристики, поэтому для синтеза РНС и решения вопросов их обучения целесообразно использовать результаты исследования динамических систем в смежных областях науки, таких как физика, теория нелинейных динамических систем, теория хаоса и других. Одним из перспективных направлений в этом случае является создание РНС на базе физических осцилляторов, а также моделей сетей на базе хаотических отображений.
Система связанных осцилляторов может демонстрировать целый набор эффектов, таких как синхронизация, пространственно-временной хаос, солитоны, бегущие волны, химерные состояния. При изменении параметров сети могут происходить бифуркации (фазовые переходы), в результате которых появляются и исчезают аттракторы системы.
Подобное разнообразие нелинейных режимов позволяет создавать резервуарные сети с высокой способностью разделения (Separation Property) и аппроксимации (Approximation Property) входной информации за счет перевода входных данных в более высокую размерность пространства, что обеспечивает более точную классификацию информации нейронной сетью.
В настоящем проекте ставятся задачи развития и изучения резервуарных вычислений с функциями ассоциативной памяти, распознавания образов и кодирования данных по трем основным направлениям: 1) Разработка новых архитектур резервуарных вычислений на основе хаотических отображений; 2) Разработка новых архитектур резервуарных вычислений на базе импульсных нейронных сетей; 3) Создание новых нейросетевых архитектур с эффективным использованием вычислительных ресурсов для интеграции искусственного интеллекта в периферийные устройства интернета вещей.
Все три направления имеют научную значимость и связаны между собой в предлагаемом проекте. В первом направлении будет применяться новая методика создания резервуаров на основе хаотических отображений. Эта методика предложена авторами настоящей заявки, опубликована в журналах Electronics 2020 г., Sensors 2021 г. и была представлена на международном семинаре “On-device Artificial Intelligence Workshop”, организованном компанией Huawai, где вызвала интерес у научного сообщества. Методика позволяет создавать цифровые резервуары, мало потребляющие оперативную память, тем самым способствуя развитию актуального направления интеграции искусственного интеллекта в периферийные устройства интернета вещей. Научная значимость второго направления обусловлена актуальной проблемой использования импульсных нейронных сетей, в том числе осцилляторных, для реализации резервуарных вычислений и исследования роли динамического поведения системы на когнитивные свойства нейронных сетей. Кроме того, идея использования комбинации физического резервуара и цифровых нейронных сетей позволит создать нейросетевые технологии с эффективным использованием вычислительных ресурсов. Научная значимость третьего направления определяется задачей интеграции AI и IoT, решение которой позволит проводит более быструю обработку входной информации на периферийных устройствах, без отправки ее в облако, что значительно разгрузит каналы передачи данных и увеличит эффективность работы интернета вещей.
Фундаментальной научной задачей является изучение роли хаоса и динамических эффектов в резервуаре на когнитивные способности нейронной сети. Развивая первое направление, используя хорошо исследованную природу перехода к хаосу, например, логистического отображения, можно исследовать влияние параметров динамического хаоса на когнитивные свойства нейронной сети. Полученные знания можно переносить на РВ на основе импульсных и осцилляторных нейронных сетей, таким образом развивая все три направления одновременно.
Все сказанное выше определяет актуальность исследования, которая продиктована не только фундаментальностью научных задач – создание новых нейросетевых технологий резервуарных вычислений и изучение влияния нелинейных эффектов динамических систем на когнитивные свойства сети, но и потенциальной прикладной значимостью, перспективой создания новых нейросетевых архитектур с эффективным использованием вычислительных ресурсов. Результаты проекта будут способствовать процессу интеграции искусственного интеллекта в периферийные устройства интернета вещей и переходу к передовым цифровым, интеллектуальным производственным технологиям.
