Groq

Хотели закрыть прод одним Groq — не вышло. Скорость генерации правда рекордная, но набор моделей ограничен, а без платной подписки параллельные запросы режутся. Для стейджинга оставили, в бой не повезли.

Mixtral для черновиков кода летает, Llama рядом в том же ключе. Совместимость с OpenAI-форматом сэкономила вечер на обвязке. Высокую нагрузку сюда без платного слоя не кладу: лимиты и узкий каталог это не продакшен на постоянный поток.

Бесплатный доступ к Mixtral держим на черновиках и внутренних тулах. Задержка низкая, для демо клиенту хватает. На бесплатном тарифе упираемся в rate limits, пиковые прогоны приходится дробить.

На бесплатном слое rate limit душит пачками, вечером стенд просто упирался в потолок. Моделей мало, своих весов нет. Для редких черновиков ещё живёт, на постоянный прод без платного тарифа не переведу.

Гоняю Llama 3 через Groq, когда нужно быстро набросать ответы в боте. На LPU стрим приходит почти сразу, адаптер под формат OpenAI собрал за вечер. Своих моделей у них нет, но для open-source это не мешает.

Инференс на LPU ощущается иначе: Llama через привычный формат OpenAI поднял за вечер, задержка маленькая. Для прототипов, где ждать ответ модели бесит, это главный плюс. Бесплатный API к открытым моделям хватил на стенд.

Старый клиент у меня заточен под формат OpenAI, поэтому Groq встал почти без правок. Отклик быстрый, Llama и Mixtral закрывают повседневные задачи. Если нужна редкая модель, её в списке просто нет.