Свой LLM вместо OpenRouter

00 Краткое содержание

Меняется один шов, а не двенадцать вызовов

Весь LLM-трафик проекта уже ходит через один класс — OpenRouterClient. Это единственное место, которое надо переписать. Формат ответа нового сервера на /v1 совпал с тем, что уже разбирает llm_stream.iter_stream_events, поэтому нормализатор стрима, LangChain-обёртка, инструменты, блокнот фильтров и ранжирование не меняются вообще.

Сегодня агент, экстрактор фильтров, резолверы марки и модели, оценка цены, подводка к топ-3, батч-перевод, оценка л.с. и VLM-проверка фото идут в OpenRouter через немецкий egress-прокси — с прод-сервера в РФ домен openrouter.ai отравлен по DNS. Бюджет ключа на исходе.

Работы: заменить транспорт на https://llm.salam0nn.ru (Ollama 0.33.2, модель qwen3.5:35b, OpenAI-совместимый /v1/chat/completions), убрать egress-прокси из LLM-пути, адаптировать вызовы под свойства сервера (один запрос за раз, thinking включён по умолчанию, reasoning_effort вместо reasoning), перевести учёт с долларов на токены и время, удалить код и ключи OpenRouter.

Что проверено живьём, а не предположено

Замеры 09.09.2026 на реальных payload'ах проекта: настоящий системный промпт агента (37 199 символов), настоящие 10 JSON-схем инструментов, настоящий формат фото data:image/webp;base64, настоящие прод-контейнеры.

01 Инвентаризация

Всё, что зависит от OpenRouter

1.1. Вызовы LLM — 12 мест, все через один клиент

1.2. Инфраструктура LLM

1.3. Ловушка: мёртвые гарды на OPENROUTER_API_KEY

• services/parser_manager.py:303 — if api_key:, иначе авто-перевод не запускается;
• app/routes/translation.py:93-97 — отдаёт ошибку «OPENROUTER_API_KEY not configured»;
• app/admin_api/translations.py:96, app/parser_routes.py:1105,1715 — то же.

Гарды снять отдельным пунктом (§6.7), до удаления ключа.

1.4. Конфигурация и деплой

1.5. Что не трогаем

• STT (голосовой ввод) — agent/transcription.py ходит в Groq/OpenAI, не в OpenRouter. У Ollama нет speech-to-text: замены на своём сервере нет. Остаётся как есть.
• services/egress_proxy.py, services/telegram/client.py — общий паттерн прокси для других площадок; упоминают OpenRouter только в докстрингах.

02 Сервер

Что llm.salam0nn.ru действительно умеет

2.1. Паспорт

2.2. Производительность qwen3.5:35b

2.3. Замеры на реальных payload'ах проекта

Вывод: узкое место — не объём входа (KV-кеш снимает его почти полностью), а один слот и thinking.

2.4. Три находки, определяющие дизайн

level=WARN source=sched.go:509 msg="model architecture does not
currently support parallel requests" architecture=qwen35moe

03 Нагрузка

Что реально нужно переварить

По таблице llm_call_records прода — retention 30 дней, срез на 09.09.2026.

Пиковый час за всё время наблюдений — 408 вызовов, из них 400 перевод (18.08.2026, 08:00, парс-пик). Диалогов агента за историю — 313, сообщений пользователей — 1 136.

Ёмкость на этой нагрузке

Средний перевод на нашем сервере занимает слот ≈ 2,0 с. Пиковый час: 400 × 2,0 с = 800 с работы на 3 600 с часа — около 22 % занятости слота. Запас есть.

Но есть два разрыва:

1. Чанк перевода — DEFAULT_CHUNK_SIZE = 50 (batch_translator.py:21), а максимум ответа в логах — 627 токенов ≈ 13 с генерации. Такой чанк держит слот 13 с, и ход агента, пришедший следом, ждёт всё это время. Отсюда Р-5 и §5.3.
2. Текущий трафик агента ничтожен — 9 ходов за 30 дней: агент фактически простаивает из-за исчерпанного бюджета OpenRouter. При возврате к историческим ~38 сообщениям в день это ~76 вызовов × ~12 с = 15 минут слота в сутки. Тоже не проблема. Потолок наступит примерно на 250 ходах агента в сутки при сохранении парс-пиков.

04 Целевая архитектура

Восемь решений и один новый класс

4.1. Реестр решений

4.2. Новый клиент services/llm/own_llm_client.py

Публичная поверхность совпадает с OpenRouterClient — чтобы 12 точек вызова менялись одним импортом, а не переписыванием.

class OwnLLMClient:
    """Клиент собственного LLM-шлюза llm.salam0nn.ru (Ollama за nginx, OpenAI-совместимый /v1).

    Совместим по сигнатурам с прежним OpenRouterClient: chat_completion /
    stream_chat_completion. Отличия под капотом:
      - базовый URL и Bearer-токен из LLM_BASE_URL / LLM_API_TOKEN;
      - reasoning_effort вместо OpenRouter-диалекта reasoning (см. _thinking);
      - НЕТ egress-прокси (сервер доступен с прода напрямую);
      - вместо RPM-лимитера — очередь допуска на ОДИН слот (llm/admission.py).
    """

    def chat_completion(self, messages, model=None, temperature=0.1, max_tokens=4000,
                        timeout=90.0, retry=True, reasoning=None, purpose=None,
                        conversation_id=None, response_format=None,
                        priority=Priority.INTERACTIVE) -> dict: ...

    def stream_chat_completion(self, messages, model=None, temperature=0.1, max_tokens=4000,
                               tools=None, tool_choice='auto', timeout=180.0, reasoning=None,
                               purpose=None, conversation_id=None,
                               priority=Priority.INTERACTIVE) -> Iterator[dict]: ...

Переносится из openrouter_client.py без изменений логики

Circuit breaker (_check_circuit / _record_success / _record_failure), экспоненциальный retry с fail-fast на 4xx, форс response.encoding = 'utf-8' на SSE, построчный разбор data:-чанков, обработка GeneratorExit (стоп из UI), единый _commit_llm_acc в finally.

Удаляется

Импорт и вызовы openrouter_proxy (property session упрощается до обычной сессии), _rotate_proxy, заголовки HTTP-Referer / X-Title, RateLimiter.

Добавляется

_THINKING_OFF = {'reasoning_effort': 'none'}

def _thinking(self, reasoning):
    """Перевод «намерения» вызова в диалект Ollama.

    ВАЖНО: OpenRouter-формы reasoning={'effort': ...} / {'enabled': False} сервер
    МОЛЧА игнорирует и продолжает думать — это ломало батч-перевод (0 из 16 строк).
    Единственный рабочий выключатель на /v1 — reasoning_effort: "none".
    """
    if reasoning is None or reasoning.get('enabled') is False \
            or reasoning.get('effort') in (None, 'none'):
        return dict(_THINKING_OFF)
    if os.environ.get('LLM_ALLOW_THINKING', '0') == '1':
        return {'reasoning_effort': reasoning.get('effort', 'low')}
    return dict(_THINKING_OFF)

Сигнатура reasoning= у вызывающих сохраняется — чтобы не править 12 мест; смысл переопределяется здесь, в одной точке. Это же даёт возможность включить thinking обратно одним env, если eval покажет выигрыш.

4.3. Что не меняется — важно для оценки объёма

agent/llm_stream.py, agent/text_tool_calls.py, agent/tools.py, tool_handlers.py, filter_notebook.py, suggestions.py, ranker.py, finalize_registry.py, граф agent/graph/* (кроме строки импорта и таймаута), весь транспорт хода (turn_worker, turn_stream, SSE), фронтенд агента.

05 Очередь допуска

Один слот, три полосы приоритета

Сервер обслуживает один запрос, очередь у него FIFO без приоритетов. Значит интерактивный ход агента может встать за спиной пакетного перевода и ждать до 13 с (замер — плюс 12,5 с). Нужна наша очередь перед отправкой: services/llm/admission.py.

5.2. Дизайн

Распределённый семафор на Redis — все воркеры и бэкенд делят один слот.

Реализация — переиспользовать механику llm/distributed_rate_limiter.py (Lua на Redis), заменив «скользящее окно RPM» на «лизованный слот плюс очередь ожидающих по приоритету».

Обязательные свойства

• лиз с TTL (LLM_SLOT_LEASE_TTL, по умолчанию 300 с) — упавший воркер не блокирует всех;
• освобождение слота в finally, в том числе на GeneratorExit стрима;
• при недоступности Redis — деградация в локальный threading.Semaphore(1) на процесс (как уже сделано в _acquire_local), а не отказ;
• метрика queue_wait_ms пишется в llm_call_records (§8).

5.3. Ограничение размера пакетного запроса

• batch_translator.DEFAULT_CHUNK_SIZE: 50 → 20 — целевое время чанка ≤ 5 с;
• max_tokens перевода: сейчас min(8000, 512 + len(items)*48) → min(2000, 256 + len(items)*40). При reasoning_effort=none реальный расход — около 8 токенов на строку (замер: 16 строк → 135 токенов);
• horsepower: max_tokens=200 оставить, добавить response_format (§6.5).

06 Работы по модулям

Что именно править

6.1. Новый клиент и его подключение

1. Создать services/llm/own_llm_client.py (§4.2) и services/llm/admission.py (§5).
2. services/llm/__init__.py — экспортировать get_llm_client() как основную точку; get_openrouter_client оставить алиасом на один релиз (Р-7), чтобы не ломать импорты.
3. Заменить 12 импортов from services.llm.openrouter_client import get_openrouter_client на from services.llm import get_llm_client — список в §1.1.
4. llm/langchain_openrouter.py → llm/langchain_own.py, класс ChatOpenRouter → ChatOwnLLM с алиасом имени на релиз. Внутри — только смена _get_client(); _stream, bind_tools, lc_to_openrouter не трогать.

6.2. Агент — agent_loop.py, graph/nodes.py

• _agent_model() (agent_loop.py:518) и _extractor_model() (extractor.py:286) — дефолт google/gemini-3-flash-preview → qwen3.5:35b. Дефолты обязаны совпадать с config.py: ход бежит в greenlet без app-контекста и доходит до os.environ-ветки.
• reasoning={'effort': 'low'} в agent_loop.py:1682 и graph/nodes.py:347 — оставить как есть: смысл переопределяется в клиенте. Комментарий рядом обновить.
• Таймаут стрима хода — явно 180 с (холодный префикс плюс длинный ответ; nginx даёт 600 с).

6.3. Экстрактор фильтров — graph/extractor.py

• EXTRACTOR_MAX_TOKENS = 1000 — оставить: при выключенном thinking хватает с запасом (замер 265 токенов). Но только вместе с Р-3.
• Форс tool_choice — работает, менять нечего.

6.4. Батч-перевод — llm/batch_translator.py

• resolve_model() дефолт → qwen3.5:35b.
• DEFAULT_CHUNK_SIZE 50 → 20, формула max_tokens — по §5.3.
• reasoning={"enabled": False} в вызове (:120) — оставить, смысл даёт клиент.
• Приоритет BATCH.
• Промпт не менять: качество на замере хорошее — 16/16, «真皮座椅» → «Кожаные сиденья», «선루프» → «Люк», латиница и числа сохранены.

6.5. Оценка л.с. — horsepower_estimator.py

• DEFAULT_MODEL = "deepseek/deepseek-chat" (:121) → qwen3.5:35b.
• Добавить response_format={'type':'json_schema', …} со схемой {horsepower:int, confidence:number, note:string} — проверено, работает, ответ фактически верный (BMW X5 xDrive30d 2019 → 249 л.с.). Это снимает половину _parse_response.
• Приоритет BATCH.

6.6. VLM-проверка фото — listing_photo_llm.py

• _vision_model() дефолт google/gemini-2.0-flash-001 → qwen3.5:35b (Р-2, не 27b).
• Формат data:image/webp;base64,… — проверен, работает, менять не надо.
• _MAX_PHOTOS = 6 — оставить, но замерить на 6 фото перед включением: один снимок ≈ 390 токенов промпта и ~10 с; шесть могут дать 30–40 с в слоте. Если так — снизить до 3 или дробить на два вызова с приоритетом NEAR_RT.

6.7. Снятие мёртвых гардов на ключ

В parser_manager.py:303, app/routes/translation.py:93-97, app/admin_api/translations.py:96, app/parser_routes.py:1105,1715 — убрать условие «есть OPENROUTER_API_KEY». Перевод там идёт через Google и в ключе не нуждается. Делать до удаления ключа из окружения (§1.3).

6.8. Резолверы, оценка цены, подводка к топ-3

brand_resolver_llm.py:50, model_resolver_llm.py:50, price_estimator.py:65, agent_tasks.py:261 — сменить дефолт модели. retry=False у резолверов оставить.

07 Бюджеты и качество

Чего ждать после перехода

7.1. Ход агента — тёплый префикс, движок langgraph

Холодный старт — первое сообщение после долгого простоя: плюс 30 с на перечитку префикса и плюс 8 с на загрузку модели, если её вытеснили.

7.2. Прочие вызовы

7.3. Качество: честный риск

На трёх контрольных репликах с реальным системным промптом Qwen вызвал remember_filters там, где ожидался search_cars («ищи прямо сейчас… не переспрашивай»), а на одной — не вызвал инструмент вовсе. Промпты писались под нативный function-calling Gemini.

Работа: прогнать eval (§9.3) и по его результатам править prompts.py под Qwen. Заложить 1–2 дня. Это единственная часть работ, объём которой определяется замером, а не кодом.

08 Учёт расхода

Токены и время вместо долларов

8.1. Таблица llm_call_records

Схему сохранить — админка и retention уже построены. Добавить миграцией Alembic:

cost_usd оставить в схеме и писать 0 для provider='own', иначе сломается агрегат админки. model — писать qwen3.5:35b.

extract_usage_from_response уже читает usage.prompt_tokens / completion_tokens — формат /v1 совпал, менять не нужно. Проверено: {'prompt_tokens': 18807, 'completion_tokens': 351, 'total_tokens': 19158}.

8.2. Админка

• app/admin_api/agent.py:27-114 — «кошелёк OpenRouter» (/credits, /key, цены модели) заменить на GET /api/admin/agent/llm-health: GET /api/tags (есть ли модель), GET /api/ps (загружена ли в память, expires_at), последний успешный вызов из llm_call_records, средние duration_ms и queue_wait_ms за период.
• frontend-admin/src/pages/LlmSpendModal.tsx — колонку «$» заменить на «время слота» и «токены»; подпись «внутренний учёт OpenRouter» → «собственный LLM».
• AgentPage.tsx — блок кошелька заменить на здоровье шлюза.

09 Тест-план и eval

Чем доказываем, что не сломали

9.1. Что удалить

test_openrouter_proxy_offline.py, test_openrouter_rpm.py, test_openrouter_stream_retry.py — про прокси и RPM, оба механизма уходят.

9.2. Что переписать и добавить

Тесты в репозитории — ad-hoc скрипты, запускаются как python test_<name>.py из backend/. Держимся этой формы.

9.3. Eval агента — обязателен перед выкаткой

Набор из 30 реплик реальных диалогов; материал есть — 1 136 пользовательских сообщений в chat_messages прода. На каждой фиксировать:

Сравнение — с текущим gemini-3-flash на тех же репликах. Пункты 1–3 ниже целевых → правка prompts.py под Qwen, а не откат.

10 Конфигурация и выкатка

Пять волн с обратимым откатом

10.1. Переменные окружения

# --- Собственный LLM ---
LLM_PROVIDER=own                       # own | openrouter (килсвитч, Р-7)
LLM_BASE_URL=https://llm.salam0nn.ru
LLM_API_TOKEN=<токен>                  # /root/llm-bearer-token.txt на сервере salam0nn
LLM_MODEL=qwen3.5:35b                  # одна модель на всё (Р-2)
LLM_ALLOW_THINKING=0                   # 1 — вернуть thinking (по результатам eval)
LLM_MAX_CONCURRENCY=1                  # ёмкость сервера
LLM_SLOT_LEASE_TTL=300
LLM_QUEUE_TIMEOUT_INTERACTIVE=45
LLM_QUEUE_TIMEOUT_BATCH=20
LLM_WARMUP_ENABLED=1                   # beat-грелка префикса (§7.1)

# --- Совместимость (модель теперь общая) ---
AGENT_LLM_MODEL=qwen3.5:35b
AGENT_EXTRACTOR_LLM_MODEL=
TRANSLATION_LLM_MODEL=
OPENROUTER_VISION_MODEL=qwen3.5:35b

# --- Удаляются после релиза N+1 ---
# OPENROUTER_API_KEY, OPENROUTER_MAX_RPM, OPENROUTER_PROXY, OPENROUTER_PROXY_SITE_SOURCES

docker-compose.yml: заменить блок OPENROUTER_* на LLM_* во всех пяти сервисах — стр. 161, 438, 632, 767, 900: бэкенд, ws и три воркера. deploy.yml: секрет OPENROUTER_API_KEY → LLM_API_TOKEN (стр. 50, 308). app/__init__.py:349-352 — пробрасывать LLM_API_TOKEN.

10.2. Волны

Откат. В2 и В3 — LLM_PROVIDER=openrouter плюс рестарт бэкенда и воркеров: код обоих провайдеров жив до В4. После В4 откат — только возврат коммита.

11 Риски

Что может пойти не так

12 Открытые вопросы

Решает человек, не разработчик

В-1. Что делать агенту, когда свой LLM недоступен?

• (а) честная ошибка пользователю «ассистент временно недоступен» — просто, бесплатно;
• (б) оставить OpenRouter как аварийный провайдер за флагом, не удалять в В4 — надёжнее, но требует живого ключа с деньгами;
• (в) поднять маленькую резервную модель на самом проде (CPU) — только под экстрактор; ход агента на CPU не потянуть.

В-2. Продуктовая планка задержки

Ход агента вырастет с ~3 с до ~11–12 с, первый токен — 1,1 с. Приемлемо? Если нет — рассматривать слияние экстрактора с основным ходом (минус ~4 с, ценой возврата к «сказал красную — забыла записать») либо сокращение системного промпта: сейчас 37 199 символов, каждые убранные 2,3 тыс. символов ≈ 1 тыс. токенов ≈ 1,8 с на холодном префиксе, на тёплом — почти ничего.

В-3. Оставлять ли платный STT (Groq)?

Голосовой ввод к OpenRouter отношения не имеет, но это второй внешний платный сервис. У Ollama замены нет.

В-4. Кто владеет доступностью макмини?

Нужен регламент: кто и как быстро поднимает сервис, есть ли уведомление о недоступности. Можно повесить на существующие Telegram-алерты.

13 Инварианты

Нарушение = тихая поломка прода

14 Трассируемость

Требование → файлы