OpenRouter

Все модели гоняем через один Chat Completions, OpenAI SDK даже не выкидывали. Fallback и ценовой потолок настроил так, что ночью подхватывает дешёвый провайдер, если основной тупит.

Zero Data Retention включил там, где конечный провайдер это умеет, фильтры на сбор данных не пустые галочки. Retention всё равно решает endpoint, не роутер. Оплату из России не проверяли — ходим через юрлицо вне РФ.

Автомаршрут скачет между провайдерами, для воспроизводимости пришлось явно фиксировать endpoint. Покупка кредитов идёт с комиссией 5,5% и минимумом 0,80 доллара, для крипты указано 5%. После первого миллиона BYOK-запросов в месяц ещё 5% от обычной цены пары model/provider. Оплату из России официально не подтвердили.

Кредиты брать больно: 5,5% сверху и минимум 80 центов, криптой около 5%. Автоматический маршрут каждый раз может уехать к другому провайдеру, для воспроизводимости пришлось явно прописать порядок, иначе ответы на одном промпте пляшут.

Один API на сотни моделей, Chat Completions и OpenAI SDK совпали, интеграцию не переписывали. Настроили fallback, потолок цены и приоритет задержки. Privacy-фильтры и требование Zero Data Retention включили там, где провайдер это умеет. BYOK оставили, чтобы ключи жили у нас, а маршрут не расползался.

BYOK оставил ключи провайдеров у нас, а маршрут в коде один. После миллиона запросов в месяц на BYOK накидывают 5% от обычной стоимости пары модель/провайдер — на нашем объёме уже заметно, часть трафика увёл напрямую.