Генеральный директор NVIDIA Дженсен Хуанг рассказал, что первые эксперименты с машинным обучением проводились в 2012 году на обычной потребительской видеокарте, точнее, на паре GTX 580 с 3 ГБ памяти, объединённых в SLI.
Как Хуанг рассказал на подкасте Джо Рогана, именно на этом железе заработал AlexNet, ставший поворотной точкой для всей индустрии.
Исследователи Торонтского университета Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон искали способ улучшить распознавание изображений, когда нейросетей в привычном виде ещё не существовало.
До того разработчики полагались на вручную написанные алгоритмы для выделения граней, углов и текстур. AlexNet стал прорывом, в котором было 8 слоёв и около 60 миллионов параметров, способных учиться самостоятельно с помощью комбинации сверточных и глубоких нейронных сетей.
Результат оказался настолько впечатляющим, что модель превзошла лидирующее решение в компьютерном зрении более чем на 70%.
Хуанг отметил, что AlexNet был оптимизирован под две GTX 580 и обменивался данными между GPU только тогда, когда это было необходимо, что серьёзно сокращало время обучения.
В те годы NVIDIA почти не занималась ИИ-технологиями, фокус компании был на 3D-графике, гейминге и развитии ядер CUDA. GTX 580 создавалась для игр и не имела никаких специализированных возможностей для ускорения нейросетей, но именно её параллельная архитектура оказалась идеальна для таких задач.
По словам Хуанга, успех AlexNet заставил NVIDIA полностью пересмотреть стратегию и в 2012 году вложиться в технологии машинного обучения. Так появились устройства DGX, одно из которых было подарено Илону Маску, появилась архитектура Volta с первыми тензорными ядрами и технологии вроде DLSS.
Ранее мы рассказывали, что глава NVIDIA отругал своих менеджеров, которые советуют меньше использовать ИИ. При этом Дженсен Хуанг уверяет, что нейросети не отберут у людей работу.
