Уровни обслуживания и гарантии пропускной способности (SLA)
Разделение уровней сервиса: стандартный публичный пул, приоритетный доступ и выделенные квоты без очередей.
Различные бизнес-процессы имеют разную критичность: для внутренних аналитических отчетов задержка в пару секунд допустима, но для интерактивного поиска на витрине интернет-магазина любая задержка ведет к потере выручки. Платформа предлагает различные уровни обслуживания для критически важных нагрузок.
Приоритетная диспетчеризация очередей
Запросы разделяются на приоритетные классы обслуживания. При возникновении глобального дефицита вычислительных мощностей у апстримов трафик приоритетных уровней обслуживается в первую очередь без троттлинга.
Ключевые технические возможности
- Стандартный уровень (Standard Tier): Оптимален для разработки, тестов и большинства стандартных бизнес-задач.
- Приоритетный уровень (Priority Tier): Выделенный резерв емкости с наименьшим временем ожидания в очереди.
- Выделенные квоты RPM / TPM: Индивидуально согласованные лимиты запросов в минуту без риска получить 429 Rate Limit.
- Юридический SLA: Финансовые гарантии доступности сервиса с компенсацией при нарушении показателей аптайма.
Пример интеграции в коде
Ниже представлен базовый пример отправки запроса с использованием стандартного клиента. Убедитесь, что ваш токен создан в разделе Ключи управления API:
import OpenAI from "openai";
// Инициализация стандартного SDK с базовым URL Api Router
const client = new OpenAI({
baseURL: "https://api-router.velar.plus/v1",
apiKey: process.env.API_ROUTER_KEY, // Ваш ключ от сервиса
});
async function run() {
const response = await client.chat.completions.create({
model: "anthropic/claude-sonnet", // Семейство модели без жесткой привязки к устаревающим номерам
messages: [
{ role: "system", content: "Вы профессиональный инженер-архитектор." },
{ role: "user", content: "Как настроить надежную маршрутизацию запросов?" }
],
temperature: 0.2,
});
console.log("Ответ модели:", response.choices[0].message.content);
}
run();
Связанные разделы документации
Для глубокого погружения в тему изучите следующие материалы: