Этот материал часть курса Глубокое обучение, который мыделаем
вместе сорганизаторамитехнологическогоконкурса UpGreat ПРО//ЧТЕНИЕ.
Что это?Начнем с того, что представляет собой искусственный нейрон:
это довольно примитивный вычислитель, который на входе принимает
набор чисел (вектор признаков), а на выходе выдает одно число. У
этого вычислителя есть память, в которой хранится ровно столько
коэффициентов, сколько признаков он берет на входе. Каждый признак
умножается на соответствующий ему весовой коэффициент, и результаты
складываются. Полученная взвешенная сумма преобразуется с помощью
функции активации в выходное значение нейрона. Функция активации
может быть довольно простой: например, она может выдавать единицу,
если сумма положительная, и нуль, если сумма отрицательная (на
практике часто используют функцию ReLU, которая выдает значение
самой суммы вместо единицы).Наличие памяти позволяет нейрону
обучаться по выборке данных. Мы можем потребовать, чтобы на
заданных векторах нейрон возвращал нужные нам ответы или хотя бы
ошибался как можно меньше. Проблема в том, что задача может
оказаться трудной и решить ее с желаемой точностью с помощью одного
нейрона будет невозможно.Мы можем применить несколько нейронов к
одному и тому же вектору признаков. У каждого нейрона своя память,
поэтому их результаты будут разными. Вместе они образуют слой
нейронов, который на входе принимает все тот же вектор признаков, а
на выходе формирует новый вектор. Таким образом, слой нейронов
преобразует исходный вектор в новый. Слой можно обучить так, чтобы
трудная задача для новых векторов решалась точнее, чем для
исходных.Однако задача может быть настолько трудной, что одного
слоя окажется недостаточно. Потребуется много слоев, чтобы
постепенно, слой за слоем, преобразовать исходный вектор так, чтобы
решение задачи наконец было найдено.Искусственные нейронные сети из
двух-трех слоев считаются классическими, а если слоев больше, то
уже глубокими. Существует огромное число разновидностей глубоких
сетей, различающихся архитектурой: числом слоев, числом нейронов в
каждом слое, а также структурой связей. Каждый нейрон может
использовать не все признаки, а только часть из них. Например, в
сверточных нейронных сетях для обработки изображений используются
нейроны, называемые сверточными. Каждый такой нейрон видит только
небольшую окрестность определенного пикселя на изображении. Если мы
понимаем, какую работу должен выполнять нейрон и каких данных ему
для этого достаточно на входе, то мы можем сэкономить огромное
количество памяти и заодно сделать работу сети более устойчивой и
понятной.Чем это интересно для науки?Фактически глубокие нейронные
сети автоматизировали труд исследователей, которые раньше
занимались конструированием признаков. Одни признаки были удобнее
для распознавания сканированных изображений букв, другие для
изображений лиц, третьи для идентификации людей по радужной
оболочке глаза и так далее. Глубокие нейронные сети, появившиеся в
начале 2010-х годов, полностью автоматизировали этап
предварительной обработки изображений. Затем эти идеи быстро
распространились и на другие задачи со сложноструктурированной
входной информацией: видеопотоки, сигналы, тексты, транзакционные
данные.
