Groq

История компании Groq

История компании Groq — это один из самых ярких примеров того, как ветераны индустрии решают переосмыслить фундаментальные основы вычислительной техники, чтобы догнать и перегнать текущих гигантов вроде NVIDIA.

Вот основные этапы развития компании, которая сегодня обещает совершить революцию в сфере ИИ.

1. Основание и «ДНК» Google (2016)

Компания была основана в 2016 году. Главное лицо проекта — Джонатан Росс (Jonathan Ross).

Почему это важно? До основания Groq Росс работал в Google, где он был одним из ключевых разработчиков TPU (Tensor Processing Unit) — специализированного чипа, который Google создал для ускорения машинного обучения. По сути, он стоял у истоков первого серьезного вызова господству графических процессоров (GPU) в ИИ.

2. Философия Software-First

Главная идея Groq заключалась в том, что традиционные процессоры слишком сложны и непредсказуемы для современных нейросетей.

Проблема GPU: Они требуют сложного управления памятью и планирования задач «на лету», что создает задержки (latency).
Решение Groq: Они создали архитектуру LPU (Language Processing Unit).
- Вместо того чтобы делать «умное» железо, они создали максимально простое и детерминированное железо, где за всю логику распределения данных отвечает компилятор (ПО).
- Это позволяет точно знать, в какой наносекунде данные окажутся в нужной точке процессора.

3. Скрытный режим и первые чипы (2017–2022)

Долгое время компания работала в «стелс-режиме», привлекая инвестиции и оттачивая архитектуру своего первого чипа — GroqChip (TSP — Tensor Streaming Processor).

Они сознательно отказались от использования HBM (дорогой памяти с высокой пропускной способностью, которую использует NVIDIA), выбрав более быструю и простую память SRAM.
Это сделало их чипы невероятно быстрыми при выполнении задач инференса (вывода/работы уже обученной модели), но ограничило их в объеме памяти на один чип.

4. Взрывной рост и виральность (2024 — настоящее время)

Настоящий хайп вокруг Groq случился в начале 2024 года. Когда мир привык к тому, что ChatGPT или Llama «печатают» ответ со скоростью чтения человека, Groq продемонстрировал демо, где текст генерировался со скоростью 500+ токенов в секунду.

Что произошло:

Groq показал, что их архитектура LPU идеально подходит для LLM (больших языковых моделей).
Они запустили GroqCloud, предоставив разработчикам доступ к API для запуска моделей Llama 3 и Mixtral с невероятной скоростью.
Компания привлекла огромные инвестиции (в августе 2024 года они закрыли раунд на $640 млн, оценив компанию в $2.8 млрд).

Почему о них все говорят сегодня?

Особенность	Что это дает
Невероятная скорость	Ответы ИИ приходят мгновенно, что позволяет создавать голосовых помощников без пауз в диалоге.
Детерминизм	Задержка всегда предсказуема, что критично для систем реального времени.
Энергоэффективность	На определенных задачах их чипы потребляют значительно меньше энергии, чем GPU.

Интересный факт: Название «Groq» созвучно с термином «grok» из романа Роберта Хайнлайна «Чужак в чужой стране», что означает «понимать интуитивно и полностью». Однако недавно Илон Маск запустил свой ИИ под названием Grok, что вызвало небольшую путаницу в брендах (и даже ироничную перепалку в соцсетях).