API ROUTER.
Вход

Оптимизация задержки (TTFT и Latency)

Инженерные практики минимизации задержки ответа нейросетей в интерактивных чатах и высоконагруженных API.

В пользовательских интерфейсах ключевой метрикой восприятия качества является Time To First Token (TTFT) — время от клика пользователя до появления первой буквы ответа на экране. Оптимизация сетевых маршрутов, выбор правильных моделей и стриминг позволяют добиться ощущения живого мгновенного отклика.

Факторы, влияющие на задержку ответа

Суммарная задержка складывается из сетевого RTT до шлюза, времени предварительного вычисления промпта (Prefill time) и скорости последовательной генерации токенов (Decoding speed).

Ключевые технические возможности

  • Потоковая передача (SSE Streaming): Обязательное включение stream: true выводит первый токен пользователю уже через 300–500 мс.
  • Выбор компактных моделей для первого экрана: Использование быстрых моделей для первичной классификации и маршрутизации.
  • Минимизация размера входного промпта: Удаление избыточных примеров Few-Shot в пользу четких компактных инструкций.
  • Сетевая локализация: Прямое подключение к шлюзу без промежуточных зарубежных прокси сокращает сетевой RTT на 150–250 мс.

Пример интеграции в коде

Ниже представлен базовый пример отправки запроса с использованием стандартного клиента. Убедитесь, что ваш токен создан в разделе Ключи управления API: 


import OpenAI from "openai";

// Инициализация стандартного SDK с базовым URL Api Router
const client = new OpenAI({
  baseURL: "https://api-router.velar.plus/v1",
  apiKey: process.env.API_ROUTER_KEY, // Ваш ключ от сервиса
});

async function run() {
  const response = await client.chat.completions.create({
    model: "anthropic/claude-sonnet", // Семейство модели без жесткой привязки к устаревающим номерам
    messages: [
      { role: "system", content: "Вы профессиональный инженер-архитектор." },
      { role: "user", content: "Как настроить надежную маршрутизацию запросов?" }
    ],
    temperature: 0.2,
  });

  console.log("Ответ модели:", response.choices[0].message.content);
}

run();

Связанные разделы документации

Для глубокого погружения в тему изучите следующие материалы: