Хорошее и плохое после 3 дней Meta's Llama 3

Всем привет! Вы, наверное, слышали, что в прошлый четверг Мета объявила Лама 3, новый LLM с открытым исходным кодом. На данный момент анонсировано 3 варианта: маленькая модель с параметрами 8B, средняя модель с параметрами 70B и очень большая модель с параметрами 405B. Модель 405B все еще находится в стадии обучения, но доступны веса для обоих меньших размеров.

Хороший, Плохой или Уродливый?

Добро

Эталоны абсолютно безумный. Модель 8B почти так же сильна, как вариант 70B Llama 2, и намного мощнее, чем Mistral 7B, который в прошлом году был популярной малой моделью. Модель Llama 3 70B выгодно отличается от Gemini Pro 1.5 и Claude 3 Sonnet.

Meta также опубликовала предварительные тесты для модели 405B, которые выгодно отличается от GPT-4 Turbo. Также было подтверждено, что эта модель является мультимодальной (ввод текста + изображения), в отличие от двух меньших моделей, которые предназначены только для текста. Очевидно, нам придется подождать и посмотреть, как будет выглядеть выпущенная модель, но это действительно захватывающие новости.

В дополнение к базовым моделям Meta выпустила варианты инструкций как 8Б и 70Б модели. Настройка инструкций была действительно хорошо сделана, и они сразу же готовы к использованию. Модель 70B способна выполнять все задачи, для которых вы использовали бы GPT-3.5, а также многие задачи, для которых ранее требовался GPT-4.

Плохо

Выпущенные модели ограничены контекстным окном 8K, что плохо сравнивается с GPT-4 Turbo (128K), Claude 3 (200K) или даже Mistral 7B (32K). Тем не менее, сейчас есть хорошие методы расширить контекстное окно с минимальным дополнительным обучением, поэтому я ожидаю, что варианты с более длинным контекстом скоро исчезнут.

Уродливый

Вероятно, нам придется подождать еще несколько месяцев, пока выйдет самая большая модель, которая в конечном итоге может оказаться самой влиятельной из трех.

Сервировка Ламы 3 🍽️

У вас есть много хороших вариантов обслуживания моделей Llama 3 в производстве. Его архитектура почти идентична Llama 2, поэтому многие поставщики логических выводов Llama 2 уже поддерживают Llama 3. Ниже я включил несколько поставщиков, которых я лично использовал и которым доверяю для производственных рабочих нагрузок. Обратите внимание, что это цены совместной аренды; многие из этих поставщиков также могут предоставить вам выделенное развертывание с оплатой за час использования графического процессора.

Точная настройка Ламы 3 ✂🦙

В OpenPipe мы обнаружили, что даже модели весовой категории 7B могут часто конкурирует с GPT-4 при тонкой настройке под вашу конкретную задачу. Мы выпустили поддержку тонкой настройки Llama 3 8B. в день запуска (70B скоро появится!). Скоро у нас будут тесты, но в ходе первоначального тестирования мы обнаружили, что точно настроенная Llama 3 8B работает аналогично хорошо настроенному Mixtral 8x7B, но при этом намного дешевле в обслуживании. Ранее мы обнаружили, что для большинства задач Mixtral способен превзойти GPT-4 при точной настройке на высококачественном наборе данных. Это означает, что для многих задач теперь вы можете использовать точно настроенную модель, превосходящую GPT-4. за 1/50 стоимости. Это, конечно, очень важно для многих бизнес-моделей! Итак (вот и все): если вы хотите попробовать усовершенствовать вариант Llama 3 с помощью собственных подсказок и дополнений, не стесняйтесь создать учетную запись на сайте openpipe.ai — чтобы начать работу, потребуется всего пара минут!

Об авторе

Кайл Корбитт является основателем OpenPipe, самый простой способ обучения и развертывания собственных точно настроенных моделей. Раньше Кайл был директором Y Combinator, инженером Google и соучредителем Emberall.