Статьи
Ученые из Университета штата Мичиган придумали такой тип нейронной сети, алгоритм которой способен предсказывать слова до того, как они произнесены, и делать другие прогнозы будущего. Новая функция может значительно улучшить эффективность систем искусственного интеллекта.
Ученые из Университета штата Мичиган придумали такой тип нейронной сети, алгоритм которой способен предсказывать слова до того, как они произнесены, и делать другие прогнозы будущего. Новая функция может значительно улучшить эффективность систем искусственного интеллекта.
Резервуарные вычислительные системы, которые превосходят обычные нейронные сети по мощности и объему затраченного времени на обучение, в прошлом создавались при помощи больших оптических элементов. Специалисты Мичиганского университета, однако, сделали ставку на мемристоры, которые требуют меньше места и которые легче интегрировать в существующую кремниевую электронику, пишет Phys.org.
Мемристоры — особый тип резистивных устройств, которые могут как выполнять логические операции, так и хранить данные.
Для того чтобы обучить нейронную сеть, требуются дни или даже месяцы, и чем сложнее задача, тем больше знаний нужно в нее вложить, и тем дороже обходится обучение. Резервуарные вычислительные системы на мемристорах позволяют отбросить большую часть тренировочного процесса и добиться того же результата быстрее, поскольку наиболее важный компонент системы — резервуар — не требует обучения.
Когда в резервуар попадает набор данных, он распознает главные свойства данных и передает их в упрощенном формате вторичной сети. Обучение необходимо только ей. Такие системы особенно хорошо приспособлены для обработки данных, которые меняются со временем — например, потоков слов или функций, зависящих от предыдущих результатов.
Авторы исследования планируют использовать свое изобретение в распознавании речи и упреждающем анализе. «Мы можем прогнозировать естественную речь, так что вам даже не придется произносить слово целиком, — говорит профессор Вэй Лу. — Мы сможем предсказывать, что вы произнесете через секунду».
Британские ученые из Университета Саутгемптона тоже считают, что мемристоры — это самый вероятный путь к успеху при создании нейронных сетей, которые смогут имитировать человеческий мозг. Они тоже разработали экспериментальную нейросеть которая использует в качестве синапсов мемристоры.
Университет Саутгемптона представил мемристоры, которые могут использоваться для управления системами искусственного интеллекта, моделирующими работу мозга, сообщается на сайте университета.
Сегодня развитие искусственных нейронных сетей упирается в отсутствие компонентов, с помощью которых можно моделировать мозг человека. В частности, нет эффективных искусственных синапсов — ключевых компонентов, которые требуются каждой искусственной нейронной сети.
В исследовании, опубликованном в Nature Communications, ученые демонстрируют эксперементальную нейросеть, которая использует в качестве синапсов мемристоры — резисторы с памятью. Они в свою очередь позволяют обеспечить сети понимание сложных правил обучения.
Ведущий исследователь проекта доктор Алекс Серб говорит: «Если мы хотим построить искусственную систему, которая сможет имитировать человеческий мозг, обладая той же мощностью, то нам придется использовать сотни миллиардов, если не триллионов, синапсов».
«Большая часть из них должна обладать возможностью понимать правила обучения различной степени сложности, — продолжает исследователь. — Сегодня есть возможность собрать синапсы из различной электроники, но для достижения схожей с мозгом мощности — если это вообще возможно — необходимо создание совершенно новых искусственных синапсов».
Ученый полагает, что мемристоры — это самый вероятный путь к успеху. Массивы металлооксидных мемристоров могут обучаться и переобучаться на входных шаблонах — обучение проходит без учителя по принципу «Победитель получает все». Это максимально полезная технология, позволяющая процессорам (например, в устройствах IoT) при маленьких энергозатратах обрабатывать большие данные без предварительного знания о них.
Оригинал публикации: https://phys.org/news/2017-12-memristors-power-quick-learning-neural-network.html
https://www.nature.com/articles/ncomms12611#affil-auth
Подпишитесь на «Первый Неофициальный» в Telegram, Facebook, Одноклассниках, Вконтакте, Twitter или Instagram
