Пользовательские классификаторы входящего трафика

Предварительная фильтрация промптов, защита от инъекций и тематическая маршрутизация до обращения к тяжелым моделям.

Отправка каждого пользовательского сообщения напрямую в дорогую флагманскую модель без валидации создает риски безопасности (Prompt Injection) и приводит к перерасходу бюджета на спам и нецелевые запросы. Классификаторы на границе сети позволяют отсекать опасные и мусорные запросы на раннем этапе.

Пре-флайт валидация входящих сообщений

Перед передачей запроса целевой модели шлюз прогоняет входной текст через легковесный классификатор, проверяющий соответствие политике безопасности, язык и тематику обращения.

Ключевые технические возможности

  • Защита от джейлбрейков (Prompt Injection): Блокировка попыток обойти системные инструкции ассистента.
  • Тематическая фильтрация: Проверка, относится ли вопрос к компетенции сервиса (например, отсечение обсуждения политики в техподдержке).
  • Экономия средств: Запросы, отклоненные классификатором, не расходуют квоты дорогих аналитических моделей.
  • Кастомные правила модерации: Возможность настройки собственных черных списков стоп-слов и регуляторных правил.

Пример интеграции в коде

Ниже представлен базовый пример отправки запроса с использованием стандартного клиента. Убедитесь, что ваш токен создан в разделе Ключи управления API:


import OpenAI from "openai";

// Инициализация стандартного SDK с базовым URL Api Router
const client = new OpenAI({
  baseURL: "https://api-router.velar.plus/v1",
  apiKey: process.env.API_ROUTER_KEY, // Ваш ключ от сервиса
});

async function run() {
  const response = await client.chat.completions.create({
    model: "anthropic/claude-sonnet", // Семейство модели без жесткой привязки к устаревающим номерам
    messages: [
      { role: "system", content: "Вы профессиональный инженер-архитектор." },
      { role: "user", content: "Как настроить надежную маршрутизацию запросов?" }
    ],
    temperature: 0.2,
  });

  console.log("Ответ модели:", response.choices[0].message.content);
}

run();
  

Связанные разделы документации

Для глубокого погружения в тему изучите следующие материалы: