Эхо-сети (Echo State Networks)

Previous Next

Описание

Эхо-сети (Echo State Networks) являются подклассом рекуррентных нейронных сетей и используются для предсказания временных рядов. Их отличие многих других архитектур нейронных сетей состоит в том, что только часть весов эхо-сети обучается путем решения минимизации квадратов отклонений, в то время как остальные веса, задающие рекуррентную часть эхо-сети, генерируются случайным образом. Это позволяет реализовать вычислительно эффективный процесс обучения, чье вычислительное время на несколько порядков меньше времени обучения классических рекуррентных нейронных сетей эквивалентного размера. Такое преимущество делает эхо-сети отличным алгоритмом, например, для embedded устройств.

Ряд исследований был посвящен анализу эффективности и качества обучения эхо-сетей на примере нелинейных хаотических систем. Было продемонстрировано, что, несмотря на столь быстрый процесс обучения, эхо-сети демонстрируют погрешность краткосрочного предсказания, эквивалентную погрешности современных рекуррентных нейронных сетей, таких как Long short-term memory (LSTM) и Gated recurrent unit (GRU) сети. Более того, эхо-сети способны эффективно реконструировать хаотические аттракторы подобных динамических систем.

Мы исследуем следующие сценарии применения эхо-сетей:

• моделирование переходных процессов (ламинарно-турбулентный переход, finite-amplitude instability)
• моделирование процессов с ограниченными наблюдениями состояний и не наблюдаемых в принципе при определенных значениях параметров
• адаптивное управление суррогатными моделями, построенными с помощью эхо-сетей

Мы также разрабатываем открытую библиотеку skesn для построения, обучения, валидации и использования эхо-сетей: https://github.com/dynolab/skesn

Научный коллектив:

• Першин Антон Юрьевич, Ph. D.