Aleksey Belkin

Meta* опубликовала в опенсорс свою модель Llama-3 на 8B и 70B параметров и продолжает тренировку модели на 400B параметров. Последнюю тоже обещают опубликовать в опенсорс к концу лета.

8B версия обходит опенсорсные Gemma от Google и Mistral на 7B параметров. Сравнения с Command-R авторами не делалось. При этом Марк Цукерберг в своем интервью сказал, что Llama-3 7B почти также хороша, как Llama-2 70B.

При этом 70B версия Llama-3 обходит Gemini Pro 1.5 от Google и Claude 3 Sonnet от Anthropic на части бенчмарков по данным Meta*.

Компания рассчитывает значительно улучшить собственные продукты и предложить новые сервисы за счет новых моделей.

Это мощный и ожидаемый рывок. Особенно ценно, что ко всем моделям дается открытый доступ к исходному коду и параметрам, позволяющий кому угодно разворачивать их независимо на собственной инфраструктуре.

AI Прорыв

*Meta признана экстремистской организацией и запрещена в России

Модель Command-R+ от Cohere – новый лидер рейтинга LMSYS среди OpenSource моделей (писал о нем ранее), она обошла прошлого OpenSource лидера Mistral-Large-2402 и даже некоторые версии платной GPT-4.

Главный плюс OpenSource моделей – их можно разворачивать на собственном железе, не зависеть от стороннего платного API от OpenAI/Google/Anthropic или других и не передавать ни куда свои данные.

Попробовать модель можно бесплатно на HuggingFace/chat

AI Прорыв

За прошедшие 2 недели набралось немало интересных новостей. Ценю ваше время и делюсь в виде дайджеста:

1️⃣ Гуманоидный робот Figure 01, рожденный из партнерства Figure.ai и OpenAI (объявленного всего 2 недели назад), свободно управляет своими "руками" и общается как человек.

🌟 Мой комментарий:
2024 год обещал быть годом роботов и прогнозы сбываются. Будущее надвигается так стремительно, что порой реальность становится неотличима от фантастического фильма.

2️⃣X.ai (Илон Маск) опубликовал в Open Source модель Grok-1, ранее доступную только платным подписчикам X (бывшего Twitter). В модели Grok 314 млрд параметров, архитектура Mixture-of-experts и практически отсутствует цензура (готова ответить почти на любой вопрос 🔥).

🌟 Мой комментарий:
Во-первых, рад появлению еще одной OpenSource модели.
Во-вторых, при всей противоречивости ситуации (если смотреть детали) я уважаю стремление Илона Маска не дать революционным технологиям ИИ оказаться в одних руках на службе сугубо коммерческих интересов: он продолжает гнуть свою линию на открытость ИИ на фоне судебного иска, ранее поданного им против OpenAI. В иске он обвиняет OpenAI, которую основал и позже покинул, в нарушении ее собственного устава из-за закрытости ее ИИ разработок в угоду коммерческим интересам и Microsoft.

3️⃣Apple обсуждает с Google подключение модели Gemini к iOS 18 для внедрения генеративного ИИ в iPhone.

🌟 Мой комментарий: похоже Apple не добились желаемого успеха с собственными разработками языковых моделей и не хотят упустить стремительно растущий рынок ИИ приложений. У Google тоже есть трудности с моделями (хотя на фоне Apple это просто несколько легких неудач в начале пути), так что вероятно обе компании надеятся получить импульс к развитию через это партнерство. Скорее всего Apple будет отрабатывать интеграцию своих приложений с LLM Gemini (промпт-инжиниринг и т.д.) и продолжать попытки создать свою модель (о чем говорит их недавняя публикация статьи о модели MM1), чтобы потом просто заменить LLM на свою.

AI Прорыв

Похоже, что Claude 3 действительно хороша, а ее создатели Anthropic в очередной раз показали, на что способны.

Claude 3 Opus заняла третью строчку в leaderboard arena на huggingface, обогнав Gemini pro от Google и более ранние версии GPT4.

Про этот рейтинг писал выше. Напомню, там пользователи попарно сравнивают ответы моделей на свои вопросы и выбирают лучшую, не зная, какая модель им отвечала, то есть вслепую. Десятки тысяч таких тестов и рейтинговая система Elo, как в шахматах, дают итоговый рейтинг модели.

Про этом модель Claude 3 Sonnet, чуть менее мощная в той же линейке, заняла 6 строчку, став более бюджетной альтернативой gpt4, практически не уступающей ему в качестве.

Пожалуй стоит присмотреться для использования. Ну и будем дальше следить за результатами в бизнес применении.