Глубокое обучение — это любая искусственная нейронная сеть, которая может изучить длинную цепочку причинно-следственных связей.
Например, прямая сеть с шестью скрытыми слоями может изучать семисвязную причинную цепочку (шесть скрытых уровней + выходной уровень) и имеет «путь назначения кредита» (CAP) глубиной семь. Многие системы глубокого обучения должны иметь возможность изучать целые десять или более причинно-следственных связей. Глубокое обучение трансформировало множество важных подполей искусственного интеллекта, включая компьютерное зрение, распознавание речи, обработку естественного языка и другие.
Согласно одному из обзоров, выражение «Глубокое обучение» было внесено в сообщество машинного обучения Риной Дехтер в 1986 году и приобрело силу после того, как Игорь Айзенберг и его коллеги познакомили его с искусственными нейронными сетями в 2000 году. Первые функциональные сети Deep Learning были опубликованы Алексеем Григорьевич Ивахненко и В.Г. Лапа в 1965 году. Эти сети обучаются по одному слою за раз. В статье 1971 года Ивахненко описывается изучение глубокого многопрофильного персептрона с восемью слоями, уже гораздо более глубокого, чем многие последующие сети. В 2006 году публикация Джеффри Хинтона и Руслана Салахутдинова представила еще один способ предварительной подготовки многослойных линий прямых нервных сетей (FNN) по одному слою за раз, обрабатывая каждый слой в свою очередь как неконтролируемую ограниченную машину Больцмана, затем используя контролируемое обратное распространение для тонкая настройка. Подобно мелким искусственным нейронным сетям, глубокие нейронные сети могут моделировать сложные нелинейные отношения. За последние несколько лет успехи в алгоритмах машинного обучения и компьютерном оборудовании привели к более эффективным методам обучения глубоким нейронным сетям, которые содержат много слоев нелинейных скрытых единиц и очень большой выходной уровень. Подробнее о Максиме Криппе из источника : https://antikor.com.ua/articles/215216-maksim_krippa_proryv_v_oblasti_iskusstvennogo_intellekta_nastupit_uhe_zavtra
Глубокое обучение часто использует сверточные нейронные сети (CNN), происхождение которых можно проследить до неокогнитрона, введенного Кунихико Фукусимой в 1980 году. В 1989 году Ян Лецун и его коллеги применили обратную прокладку к такой архитектуре. В начале 2000-х годов в промышленном применении CNN уже обработали, по оценкам, от 10% до 20% всех чеков, написанных в США. С 2011 года быстрые реализации CNN на графических процессорах завоевали множество соревнований по распознаванию образов.
