Сыр и соус важные части пиццы, но не такие обязательные, как тесто, так что они получают средний вес.
Ветчина это любимая добавка многих, но не обязательная, поэтому она тоже получает средний вес и так далее.
Веса помогают роботу решить, какие ингредиенты использовать для готовки самой вкусной пиццы. Таким образом, веса в нейронных сетях помогают сориентироваться, какие входы важнее для решения задачи, а какие менее важны.
Вернёмся к истории.
В 1990-х годах нейросети стали применяться в разных областях: от распознавания речи и лиц до игровых приложений и финансового анализа. Однако они все ещё сталкивались с проблемами, такими как переобучение когда нейросеть хорошо работает на тренировочных данных, но плохо на новых данных или затухание градиента когда корректировка весов становится слишком маленькой и нейросеть перестаёт обучаться. Также нейросети требовали много данных, вычислительной мощности и времени для обучения. Из-за этого они не могли конкурировать с другими методами машинного обучения, такими как опорные векторы или деревья решений.
Но всё изменилось в 2000-х годах, когда появились новые технологии и данные, которые дали толчок развитию нейросетей. С одной стороны, появились большие наборы данных, такие как ImageNet коллекция из более 14 миллионов изображений, размеченных по категориям. С другой стороны, появились новые аппаратные средства, такие как графические процессоры (GPU) и тензорные процессоры (TPU), которые позволяли ускорить вычисления и обучение нейросетей. Также появились новые архитектуры и методы нейросетей, такие как свёрточные нейросети (CNN) специализированные для обработки изображений, рекуррентные нейросети (RNN) способные обрабатывать последовательности данных, например, текст или речь, и генеративные состязательные сети (GAN) способные создавать новые данные, например, изображения или тексты.
В 2012 году произошло событие, которое можно назвать революционным для нейросетей. Команда учёных под руководством Джеффри Хинтона представила свою свёрточную нейросеть под названием AlexNet на конкурсе по распознаванию изображений ImageNet Challenge. Эта нейросеть показала поразительный результат: она уменьшила ошибку распознавания на 10 процентных пунктов по сравнению с предыдущим лидером. Это было сравнимо с человеческим уровнем распознавания. AlexNet использовала восемь слоёв нейронов и обучалась на двух GPU в течение пяти дней. Этот успех показал, что глубокие нейросети могут превзойти другие методы машинного обучения и даже человеческий интеллект в некоторых задачах. С тех пор начался бум развития и применения нейросетей в разных областях.
Сегодня мы живём в эпоху нейросетей. Они повсюду: в наших смартфонах, компьютерах, интернете, социальных сетях, играх, медицине, науке, искусстве и т. д. Они помогают нам в повседневной жизни: переводят тексты и речь, распознают лица и объекты, фильтруют спам и рекламу, рекомендуют продукты и контент, создают музыку и картинки, играют в шахматы и Го и многое другое. Они также помогают нам в образовании, развлечениях, здоровье, бизнесе и обществе. О них мы и будем говорить в следующих главах.
Работая над этой книгой, я ещё больше погружаюсь в понимание и осмысление нейронных сетей, и как сказал один известный учёный и писатель: «Лучший способ понять что-то это объяснить это другому*. Именно этим и займёмся.
*Ричард Фейнман, американский физик и лауреат Нобелевской премии.
УГЛУБЛЯЕМСЯ В ПОНИМАНИЕ НЕЙРОСЕТЕЙ. УРОВЕНЬ ДЖЕДАЙ
В этой главе я простым языком на примерах попытаюсь объяснить вам, что же такое нейросеть, как она устроена и стоит ли нам её опасаться.
Обычно как-то так в кино и сериалах изображают сверхумную нейронную сеть, суперкомпьютер. Нечто обучившееся настолько, что у него появился разум. Но в реальности же всё куда проще.
Как физически выглядит нейросеть
Нейросеть хранится в специальном формате, который называется ONNX (Open Neural Network Exchange). ONNX это открытый стандарт для обмена моделями машинного обучения между разными фреймворками и платформами. ONNX позволяет сохранять не только параметры нейросети, но и ее архитектуру, то есть структуру и функции слоев. ONNX файлы имеют расширение. onnx и могут быть скопированы, пересланы и развернуты на любом другом устройстве, которое поддерживает этот формат. Конечно, есть и другие форматы, например TensorFlow и HDF5. HDF5 это еще один формат для хранения моделей машинного обучения, который поддерживается библиотекой Keras. HDF5 файлы имеют расширение. h5 или. hdf5 и также могут быть скопированы, пересланы и развернуты на других устройствах.
Вот так выглядит одна из моих нейросетей. В папке 2 файла.
Конечно, это очень простой пример. Даже боты которых я пишу и использую имеют более сложную структуру, десятки файлов и огромное количество строк кода. В последней главе этой книги мы с вами «препарируем» один из моих проектов на основе нейросети и я покажу, что там внутри и что она из себя представляет.
На что я хочу обратить ваше внимание, это никакие не пугающие и не непонятные устройства, нейросеть это, если утрировать, то как любой файл на вашем компьютере, фильм, фото, книга или аудиофайл.
Для примера, ChatGPT это проект, который использует нейросеть GPT-3 для создания интерактивных диалогов на разных языках. Нейросеть GPT-3 это одна из самых больших и мощных нейросетей в мире, которая состоит из 175 миллиардов параметров. Параметры это числа, которые определяют, как нейросеть обрабатывает и генерирует текст. Чем больше параметров, тем лучше нейросеть может понимать и создавать разнообразный и сложный текст.
Проект ChatGPT использует несколько версий нейросети GPT-3, которые обучены на разных языках и доменах. Каждая версия хранится в отдельном ONNX файле, который имеет свое имя и размер. Например, версия ChatGPT-en-base. onnx это базовая модель для английского языка, которая имеет 1.3 миллиарда параметров и занимает 5 ГБ памяти. Версия ChatGPT-ru-large. onnx это большая модель для русского языка, которая имеет 2.7 миллиарда параметров и занимает 10 ГБ памяти.
Самая мощная нейросеть в Мире сейчас это GPT-4, которая обучена на 4.5 триллионах слов из интернета. Она состоит из 13 миллиардов параметров и занимает около 50 ГБ памяти. Это один файл в формате ONNX, который очень много весит. По идее, если у вас есть такой файл, вы можете его запустить на одном компьютере, а ваш друг может запустить на другом, если у вас есть достаточно мощный процессор или видеокарта.
А вот немного информации для самостоятельного размышления. Человеческий мозг состоит из более чем 100 миллиардов нейронов. Объём памяти человеческого мозга это сложная и спорная тема, которая зависит от того, как мы определяем и измеряем память. Однако некоторые ученые пытались оценить этот объем с помощью разных методов и моделей. Например, одна из оценок говорит, что объём памяти человеческого мозга составляет около 2.5 петабайт (2500 терабайт), что эквивалентно 2500 компьютерам с жестким диском на 1 терабайт. Это очень большое число, которое говорит о том, какой потенциал имеет наш мозг для хранения информации.
Самая мощная нейросеть GPT-4 сейчас весит 50 ГБ, а память человеческого мозга оценивается примерно в 2.5 петабайта, что равно 2500 терабайт или 2500000 гигабайт. Это означает, что память человеческого мозга в 50000 раз больше, чем память нейросети GPT-4. Это показывает, насколько сложным и удивительным является наш мозг по сравнению с искусственным интеллектом.