Создание AI-ассистента и чат-бота
Архитектура разработки умного диалогового помощника с памятью контекста, системными промптами и вызовом инструментов.
Разработка качественного бизнес-ассистента требует решения трех ключевых инженерных задач: управление историей диалога без переполнения контекстного окна, сохранение персонализации через системные инструкции и интеграция с корпоративными бэкендами через функции Tool Calling.
Пайплайн обработки пользовательского сообщения
При входящем запросе система подгружает историю диалога, применяет скользящее окно (Sliding Window), отправляет запрос через Api Router и выполняет необходимые функции перед отправкой финального ответа пользователю.
Ключевые технические возможности
- Скользящее окно контекста: Автоматическое усечение старых реплик для экономии бюджета и соблюдения лимитов.
- Системный промпт и тональность: Четкое задание роли, ограничений и формата ответов ассистента.
- Интеграция с CRM и базами данных: Возможность для бота проверить статус заказа или остаток на складе прямо во время диалога.
- Стриминг ответов в мессенджеры: Отображение набора текста и потоковая отправка в Telegram или веб-виджет.
Пример интеграции в коде
Ниже представлен базовый пример отправки запроса с использованием стандартного клиента. Убедитесь, что ваш токен создан в разделе Ключи управления API:
import OpenAI from "openai";
// Инициализация стандартного SDK с базовым URL Api Router
const client = new OpenAI({
baseURL: "https://api-router.velar.plus/v1",
apiKey: process.env.API_ROUTER_KEY, // Ваш ключ от сервиса
});
async function run() {
const response = await client.chat.completions.create({
model: "anthropic/claude-sonnet", // Семейство модели без жесткой привязки к устаревающим номерам
messages: [
{ role: "system", content: "Вы профессиональный инженер-архитектор." },
{ role: "user", content: "Как настроить надежную маршрутизацию запросов?" }
],
temperature: 0.2,
});
console.log("Ответ модели:", response.choices[0].message.content);
}
run();
Связанные разделы документации
Для глубокого погружения в тему изучите следующие материалы: