Кейс · AI-интегратор · 2025–2026

Микрофон → RTMP → STT → визиты → DeepSeek KPI → дашборд

Пилот в розничных салонах связи t2 · Урал. Не «чат-бот», а контур контроля качества: существующий микрофон на рабочем месте, серверная обработка смены, объективная оценка каждого клиентского диалога по KPI сети.

Applied LLM Whisper + DeepSeek On-premise
Иллюстрация контура Al-ina: микрофон, RTMP, STT, визиты, DeepSeek KPI, дашборд
2 584
визита в prod-дампе · manifest visits/
50 244
STT-фраз final_refinement · streams.db
~107 ч
суммарная длительность диалогов · visits JSON
380
детектор продажи «продажа» · 14,7% визитов

Визиты: backup 2 584 (18.06) · live API 2 363 (30.06). STT backup: 50 244 фраз. Подробнее — секция Данные. Demo UI на лендинге (47 / 38%) — не prod.

Как это было

Три слоя — три вехи

Q4 2025 – Q1 2026 контур захвата

Stream Server Manager + STT

RTMP через MediaMTX, онлайн-транскрипция Yandex SpeechKit, единый timeline в SQLite. Задача интегратора — не точечный промпт, а инфраструктура «запись → события → хранение».

19.02.2026 AI-слой v1

Первые prod-визиты

Семантическая нарезка (rule-based, без LLM) + DeepSeek: summary, KPI t2, детектор продажи. Веб-дашборд на порту 8001.

06.04.2026 STT A/B

Whisper vs Яндекс

Реальный тест: 48,5 мин OGG → 21 мин Whisper, 3088 STT-событий, 4 визита. Выбран гибрид: Whisper для batch-смен (0 ₽), Яндекс — для RTMP-стриминга.

05–06.2026 масштаб

2 точки + продукт Al-ina

salon1 (Бреды) и salon2 (Варна), стандарт ПС для операторской сети, validation pipeline, лендинг al-ina.ru.

Итог за период пилота: 2 584 JSON-карточки визита (2 583 успешно парсятся), 50 244 STT-событий в timeline, ~124k фраз внутри визитов (avg 48/визит), 166 legacy-case файлов и 173 LLM-разметки pairwise-merge для ML. Четыре потока: salon1 Бреды (ПС), salon2 Варна (ПС), ранний t2-пилот (UUID-поток, фев–март), unknown (52).

Связь «посетители в двери → продажа» и привязка к сотруднику — этап 2.

Для владельца розницы

Боль → AI-решение

БольНе знаю, что происходит в зале прямо сейчас
Непрерывная запись смены + дашборд с визитами по часам. Руководитель видит картину дня, не 8 часов аудио.
БольТайный покупатель — дорого и выборочно
100% записанных диалогов проходят одну шкалу KPI. Охват ×500+ vs 5–10 проверок в месяц.
БольОценки субъективны
Гибридный скоринг: regex-маркеры + DeepSeek по фиксированному rubric. Одна шкала для всех сотрудников.
БольНе понимаю — купил клиент или ушёл
Детектор продажи с evidence-цитатой: algo-маркеры + LLM на хвосте диалога. Не догадка — конкретная фраза.
БольНарушения всплывают через недели
Автофлаги речи: 220 algo-маркеров (мат / forbidden) + 133 KPI «нарушение» на t2-шкале — без ручного прослушивания.
БольТону в сырой расшифровке
Карточка визита: резюме, запрос, действия, продукты, KPI breakdown. Управленческий вывод, не STT-дамп.
Два стандарта — не смешиваем

t2 и ПС — отдельные шкалы KPI

Разные rubric — разные метрики. salon2 — это ПС, не t2. Ранний t2-пилот — отдельный UUID-поток (409 визитов, фев–март). Не смешиваем в одну цифру.

Стандарт t2 · ранний пилот

409 визитов · фев–март 2026

1UUID-поток (до переименования в salon2)
24 KPI + бонусы · макс. 60 баллов
3sale_detector + DeepSeek summary
4Showcase MNP visit_e607b1e9 · score 100%
20,5%
sale «продажа» (84/409)
~41%
avg score_pct · n=1033*

*score_pct есть и у части ПС-визитов (624 legacy salon1 с dual-score). Для t2-card — только UUID-поток.

Стандарт ПС · 2 точки

2 174 визита · salon1 + salon2 + unknown

1salon1 Бреды — 1 713 (624 dual-score legacy)
2salon2 Варна — 409 · ПС с апреля
3Расширенный чеклист: зал, имя, cross-sell…
4ps_score_pct — отдельная шкала в UI
~16%
avg ps_score_pct
196
пик визитов/день · salon1 16.05

ПС-шкала жёстче: 1 567 «низкий балл» vs 2 «отлично». Пик нагрузки: апр–май (954 + 946 визитов/мес).

Интерфейс

Как это выглядит в работе

Showcase-визит с аудio + скриншоты prod-дашборда (полная ширина, без обрезки) · PII скрыты.

Showcase · MNP · точная нарезка audio

visit_6c9e9368 · визит #16

26.04.2026 · 10:35–10:40 · 5 мин · МТС → t2 · upload-audio (не inferred)

72% PS Продажа Полгода связи в подарок

Точная нарезка из upload-audio · prod salon1 · PII в записи могут присутствовать

Showcase MNP + audiovisit_6c9e9368 · PS 72% · продажа · точная нарезка upload-audio
Prod-дашборд · al-ina.ru/dashboard/
1. Аналитика сетиProd screenshot · 07/2026 · обзор KPI · визиты по часам · уровни ПС
2. Карточка визитаProd screenshot · 07/2026 · KPI · продажа · запись · чеклист ПС · visit #90
Доверие

Compliance и передача контекста

🔒

Официальные API

  • Yandex SpeechKit — STT, gRPC-стриминг
  • DeepSeek API — structured JSON-анализ
  • Без парсинга мессенджеров и серых схем
🏢

Данные on-premise

  • SQLite на сервере клиента, ключи не в бэкапах
  • Внутренний контроль качества работодателя
  • PII в кейсе и UI — скрыты или обезличены
👤

Человек в контуре

  • AI не увольняет — даёт факты для беседы с сотрудником
  • При «нарушении» — готовая evidence-цитата
  • Ошибки STT учтены в промпте скоринга
⚙️

Ограничения платформы

  • Whisper batch — не real-time; задержка до конца смены
  • Качество зависит от микрофона и акустики зала
  • CRM/POS — отдельная интеграция (этап 2)
🛒

Sale vs POS · этап 2

  • Сейчас: детектор по речи, ~73% «неясно» в prod
  • Ground truth: сверка с чеками кассы / CRM
  • Цель: precision/recall на выборке 100+ визитов
  • До валидации не используем sale% в ROI-цифрах
📊

Prod-скрины · не mock

Как используют

10 минут утром → факты для разговора

Внедрение AI в рознице упирается не в STT, а в доверие персонала. Кейс описывает типовой сценарий пилота — не HR-исследование, а рабочий процесс.

Руководитель салона за 10 минут утром открывает дашборд за вчера: фильтр «нарушения» и «низкий балл». Выбирает 1–2 визита с evidence-цитатой — не «плохой сотрудник», а конкретный эпизод. 5-минутная беседа по факту, не по ощущению.

Типовой сценарий пилота · не цитата клиента

Система не заменяет оценку — даёт объективный арбитр: одна шкала KPI для всех, одна evidence-строка для разбора. Снижает конфликт «надзиратель vs продавец».

Из блока «Человек в контуре» · feedback пилота

Темы для обучения · salon1 (backup dump)

Агрегат по 1 713 визитам ПС-шкалы. Algo-флаги зависят от STT — используем как гипотезы для тренинга, не как приговор.

ТемаДоля визитовКак использовать
Низкий балл ПС70% (1 206 / 1 713)Ежемесячный разбор rubric, не точечные увольнения
Algo: нет приветствия~90%Тренинг скрипта открытия · проверить микрофон/STT
Algo: нет cross-sell~76%Тема «доп. услуги» на планёрке
Algo: нет прощания~83%Закрытие визита · checklist на смене
Требует внимания25% (429)Приоритет прослушивания / разбора
Экономика владельца

Стоимость проверки одного диалога

Метрика для CFO: сколько стоит объективная оценка визита при сплошном охвате vs выборочный тайный покупатель.

МодельОхват₽ / диалогКомментарий
Тайный покупатель 5–10 / мес ~1 000 ₽ 5 000 ₽ / 5 проверок · субъективно · не масштабируется
Al-ina пилот 100% записанных ~12 ₽ VPS ~2 500 ₽/мес + DeepSeek ~8 ₽/визит · Whisper batch 0 ₽
Al-ina · 10 точек* 100% ~15–25 ₽ *Тот же VPS, STT marginal ≈0; растёт только API LLM линейно

Расчёт: 2 584 визита за ~4,5 мес пилота → ~574 визита/мес. Месяц ≈ 2 500 + 574×8 ≈ 7 100 ₽12 ₽/визит. Допущения — scripts/case_study_metrics.py.

Три потока денег — раздельно

Что уже измерено

  • Охват QA · визиты2 584 JSON
  • STT timeline · streams.db50 244 фраз
  • Длительность диалогов~107 ч
  • STT 48,5 мин · Whisper / Яндекс*0 / ~730 ₽
  • Algo-флаги речи + KPI нарушения220 + 133
  • ML corpus (exports merge)130 378 строк

*Контрфакт: 48,5 × 15 ₽/мин. Тест 06.04.2026.

Этап 2 · в работе

Что считаем дальше

  • Конверсия foot traffic → продажаYOLO
  • ROI обучения по AI-отчётамA/B
  • Экономия FTE контролёра
  • Sale detector vs касса POSvalid.
  • Validated-only метрикиmerge ML

Операции (STT + сервер) ≠ маркетинг (не применимо) ≠ выручка салона (детектор продажи ≠ чек на кассе).

Результаты AI-слоя

2 584 визита — главная метрика интеграции

2 584
visit_*.json в prod-дампе · manifest 18.06.2026
380
sale «продажа» · 246 salon1 + 84 t2-pilot + 42 salon2 + 8 unknown
173
pairwise LLM labels · 27 дней · ML merge dataset

Algo + LLM: regex закрывает очевидные продажи и штрафы; DeepSeek вызывается на summary, KPI и хвосте диалога, когда algo не уверен. Это снижает cost API и false negative на «мягких» закрытиях.

Полная таблица prod-метрик · verify-light dump
ПоказательЗначениеИсточник
visit_*.json файлов2 584 (2 583 parse OK)manifest.txt
STT timeline_events50 244dbs/streams.db
STT snapshot 16.0411 528 (salon1 6559, salon2 3124, unknown 1845)data/exports/
Длительность диалогов~107 ч (avg 2,5 мин/визит)visits JSON
Фраз в визитах (avg)48,2 / визитvisits JSON
sale «продажа» / «нет» / «неясно»380 / 313 / 1 890visits JSON
Конверсия sale (all)14,7%visits JSON
t2-pilot sale conv20,5% (84/409)UUID stream
salon2 sale conv10,3% (42/409)visits JSON
avg score_pct40,6% (n=1 033)t2 + legacy dual
avg ps_score_pct16,1% (n=2 174)ПС-шкала
KPI «нарушение» t2133score_level
algo profanity/forbidden220visit flags
legacy cases166cases/
validated example30 визитов / 15.04 salon1data/reprocessed/
Визиты по месяцамфев 297 · мар 190 · апр 954 · май 946 · июн 196visits JSON
Продажи по месяцамфев 69 · мар 32 · апр 135 · май 106 · июн 38visits JSON
ML STT corpus (dedup merge)130 378 строк · 173 pair labelsml_pairwise_bulk/

На 1000 визитов: ~147 продаж · ~121 отказ · ~732 неясно. Whisper A/B: 48,5 мин → 21 мин, 3 088 STT-событий, 4 визита (06.04.2026).

Архитектура данных

Пять слоёв — пять источников цифр

Каждая метрика в кейсе привязана к конкретному слою. Не смешиваем STT-объём, visit JSON и live API в одну «ROI-цифру».

Диаграмма пяти слоёв данных: захват, STT, сегментация, AI, метрики
СлойАртеfactКлючевая цифраДля чего в кейсе
L1 ЗахватOGG archive, RTMP~3,5 GB архив сменДоказательство непрерывной записи
L2 STTstreams.db, exports50 244 · 11 528 · 130 378 rowsОбъём распознанной речи
L3 Сегментацияsemantic_splitter + validation173 pair labels · 30 validatedКачество границ визитов
L4 AIvisit_*.json, cases/2 584 JSON · 166 casesKPI, sale, compliance
L5 UI/stats API, dashboardlive ниже ↓Текущее состояние prod
Live prod · al-ina.ru/stats

Сейчас на сервере

Запрос API · 30.06.2026

  • Визитов2 363
  • Продаж355 (15%)
  • Неясно1 702 (72%)
  • Avg score46%
  • Нарушения98
  • Потокиsalon1 · salon2 · salon4 · uuid · unknown
Backup dump · 18.06.2026

verify-light snapshot

backups/ssm/verify-light/

  • visit_*.json2 584
  • Продаж380 (14,7%)
  • STT timeline50 244
  • Длительность~107 ч
  • Нарушения KPI133
  • salon4ещё не было

Почему цифры различаются: backup — полный снимок файлов на 18.06 (включая UUID t2-pilot и битый JSON). Live API — текущий индекс дашборда: часть визитов могла быть пересобрана, добавлен salon4, метрики levels смешивают t2 и ПС в одном avg score. Для кейса используем backup для глубины (помесячно, по потокам, STT) и live для актуальности.

Матрица потоков · backup dump
stream_idТочкаСтандартnsalesconv
salon1БредыПС (+624 legacy)1 71324614,4%
salon2ВарнаПС4094210,3%
b36d9e99-…ранний пилотt24098420,5%
unknownПС52815,4%
salon4только в live prod (после 18.06)

unknown (52 визита, 2%): визиты без привязки stream_id в раннем upload — обрыв сети / старый client_tools. Мониторим через manifest; в ROI-агрегатах не смешиваем с salon1/2. Исправление: явный stream_id в auto_send + retry.

Сроки

Roadmap внедрения

01 · 2–3 нед
Исследование
Обход салона, KPI rubric, тест микрофона, RTMP
02 · 3–4 нед
AI-слой v1
Splitter, DeepSeek pipeline, дашборд
03 · 2 нед
STT + точки
Whisper batch, client_tools, 2-я точка
04 · 4–6 нед
Validation
Pairwise LLM merge, validated visits
05 · Q3 2026
Видео + HR
YOLO visitors, профили, Telegram
СлойРешениеСтатус
ЗахватRTMP + batch OGG (auto_record → auto_send)✅ Prod
STTWhisper batch + Yandex stream✅ Prod
Сегментацияsemantic_splitter (rule-based)✅ Prod
AIDeepSeek: summary, KPI, sale✅ Prod
ValidationPairwise LLM + cluster🔶 Pilot
ВидеоYOLOv8n analytics_service🔶 Infra
UIal-ina.ru + /dashboard/✅ Prod
ХранениеSQLite (пилот) → PostgreSQL + Timescale @ 50+ точек🔲 Этап 2
POS ground truthSale detector vs чеки кассы🔲 Этап 2
CRM🔲 Этап 2
Честно

Ограничения и границы

Не обещаем

  • «+50% продаж за месяц» без A/B обучения и baseline
  • 100% точность sale detector — 73% визитов «неясно», segmentation в доработке
  • Замена HR / автоматические увольнения «по боту»
  • Конверсия foot traffic без YOLO-счётчика посетителей
  • Fine-tune custom model — applied LLM + rules

Что сделано

  • Сквозной prod-контур от микрофона до дашборда в Docker
  • 2 584 визита + 50k STT-фраз + 130k строк ML-корпуса
  • 4 prod-потока: salon1, salon2, t2-pilot UUID, unknown
  • STT A/B с реальными цифрами и выбором Whisper для batch
  • Roadmap validation + ML merge — архитектура заложена
Al-ina

Applied LLM для розницы

Technical appendix — стек, guardrails, eval. Лендинг — демо и тарифы.

Docker Whisper DeepSeek FastAPI MediaMTX YOLOv8
Pipeline в technical appendix Лендинг al-ina.ru Демо-дашборд