Свой голосовой AI-агент для исходящих звонков

0. Скорость отклика — что известно на самом деле

0.1 Измерено «человек замолчал → первое слово агента» (TTFAB), по настоящим звонкам

Источник: openbenchmarks.com/voice-agent-latency. Бот-звонящий через Plivo, фиксированный сценарий, записи двух каналов, последний звонок 2026-08-01. Endpointing на Telnyx, Vapi и Retell выставлен 0,1 с.

Выводы:

• Реальная планка управляемых каскадов на телефоне — 1,3–1,7 с по медиане и 1,8–2,3 с по p95. Цифры «500–800 мс» в маркетинге Vapi и Retell — это серверные замеры от другого начала отсчёта.
• OpenAI Realtime, Gemini Live, Pipecat и LiveKit в этом бенчмарке не измерялись («это не продукты, а развёртывания»). Независимых телефонных замеров для них я не нашёл.

0.2 Speech-to-speech на практике не быстрее каскада

• gpt-realtime-2: voice-to-voice ≈ 1 332 мс, Gemini 3.1 Flash Live Preview ≈ 1 340 мс (замеры Coval, пересказ в Famulor) бенч.
• OpenAI по Full Duplex Bench v1 (turn-taking latency): gpt-realtime-2 — 1,63 с, gpt-realtime-2.1 — 1,41 с, gpt-live-1 — 0,798 с (пересказ, Famulor) бенч.
• Независимый тест GPT-Live в приложении ChatGPT на iPhone, n=30: медиана ≈ 1,1 с, p90 ≈ 1,2 с. Главное — малый разброс (σ 104 мс против 489 у Advanced Voice), при 10% потере пакетов +314 мс. Остановка при перебивании у GPT-Live на 498 мс медленнее, чем у Advanced (Agora) изм, но это не API и не телефон.
• Заявка «~300 мс» у Realtime API (Fora Soft) — это серверное время модели блог; у телефонного пользователя её никто не подтвердил.
• GPT-Live при вопросе, требующем рассуждения, говорит «секунду, проверю» — «первый звук» приходит рано, а ответ позже. Это тоже приём (филлер), см. 0.5.

0.3 Разбивка бюджета (каскад)

Иллюстративный бюджет ElevenLabs (блог), стадии частично перекрываются, это не строгая сумма блог:

Реальные компоненты, под которые я нашёл данные:

• VAD/endpointing: наивный порог тишины 800+ мс, модельный 200–400 мс (Twig) блог. Pipecat Smart Turn v3 — ~12 мс на CPU (60–70 мс на дешёвом облачном инстансе), 23 языка, включая русский и португальский (Daily, GitHub). Турн-детектор LiveKit — ~25 мс, ~400 МБ RAM, 14 языков, среди них русский и португальский (пакет). Deepgram Flux Multilingual (GA апрель 2026): 10 языков, в том числе русский и португальский, события EagerEndOfTurn/TurnResumed, ~$0,0078/мин (changelog, LiveKit docs).
• LLM TTFT: самая вариативная строка. Haiku 4.5: 150 мс p50 / 350 мс p95 в таблице DeployBase; ~600 мс в тесте Ganglani; 0,84–0,95 с на Anthropic/Databricks EU по Eden AI. Реально — мерить своим промптом из ЕС.
• TTS: Cartesia Sonic 3 — 90 мс по заявке вендора, ~166–190 мс в замере со стримингом через Vapi (eesel, Invideo); ElevenLabs Flash v2.5 — «75 мс» вендора, 255 мс медианы с сетью в независимом тесте (Deepgram и обзор) блог.
• Исследовательский каскад (Voice-Light): медиана 758 мс от финального VAD до первого серверного аудио, 21 из 36 ходов быстрее 800 мс; без сети и без телефонии, один оператор (arXiv 2609.20995) изм, но не телефон.

0.4 Телефония (PSTN) и география

• PSTN: G.711 μ-law 8 кГц, кадры по 20 мс, ресэмплинг в 16/24 кГц модели и обратно. Выделенной цифры «PSTN добавляет X мс» я не нашёл ни в одном источнике. Грубая оценка по сумме джиттер-буферов оператора и мобильной сети на двух сторонах — 100–300 мс оценка. Сопоставление: у ElevenLabs иллюстративный бюджет 680 мс, а по звонку измерено 1 424 мс — разрыв ~700 мс складывается из телефонных ног, плееров и фактического endpointing; точный вклад PSTN из этого не выделить.
• Опасность очередей Media Streams: если сервер не успевает, неотправленное аудио копится, и задержка растёт на секунды; помогает «delay guard», который выбрасывает устаревшие кадры (Classmethod). Просить TTS сразу ulaw_8000, чтобы убрать транскодирование (ElevenLabs).
• Mouth-to-ear у Twilio ~1,1 с для всего конвейера — цитата из стороннего гайда, не из первоисточника (Deepgram) блог.
• ЕС и США: сеть по публичному интернету 20–200 мс в одну сторону в зависимости от близости (ElevenLabs). Каскад делает минимум три захода в API (STT, LLM, TTS). Если сервер в Хельсинки или Фалькенштайне, а API в США, это примерно +3 × 80–100 мс ≈ 250–300 мс к ответу оценка. Вывод: звать ЕС-эндпоинты (у Deepgram, ElevenLabs и OpenAI они есть, но для OpenAI Realtime ЕС-резидентность не подтверждена, OpenAI) и держать оркестратор в ЕС. Для OpenAI Full Duplex (GPT-Live) в ЕС-воркспейсах недоступен (Famulor).
• Конфликт: Twilio Verified Caller ID доступен только в регионе данных US1, не в IE1 (Twilio). То есть собственный номер Роберта как CLI на Twilio означает US-маршрут сигнализации. Влияние на медиа-латентность не проверено.

0.5 Перебивание (barge-in)

• Данные только по компонентам: VAD-захват ~32 мс + сброс пайплайна ~15 мс (доклад AI Engineer), целевой бюджет «от начала речи до остановки TTS» ≤150 мс (Futureagi, AI Engineer) блог. Независимого замера на телефоне для каскадов не нашёл.
• Главное ограничение телефонии — буфер на стороне оператора: уже отправленное аудио надо сбрасывать командой (у Twilio Media Streams это clear), иначе агент продолжит говорить ещё 0,3–1 с оценка по общеизвестному поведению.
• Pipecat: стратегия по VAD самая отзывчивая, шлёт interruption-frame. LiveKit: классический VAD-режим и «adaptive interruption» (по акустике, отсеивает «ага»), по умолчанию включён при выполнении условий, можно вернуть interruption.mode = "vad" (LiveKit docs, Pipecat docs).
• Для гладкого разговора реалистичная цель — остановка речи агента ≤ 300–500 мс с момента, когда человек начал говорить; тюнить порог VAD под телефонный шум.

0.6 Приёмы снижения задержки (по эффективности для телефона)

1. Стриминг везде: STT-партиалы → LLM-токены → TTS по границе предложения → кадры по 20 мс на линию; WebSocket к TTS держать открытым, разогреть заранее.
2. Ранний ответ по «предварительному концу реплики»: Deepgram Flux EagerEndOfTurn (порог 0,3–0,9) даёт preflight-транскрипт для генерации до подтверждения конца реплики; при TurnResumed черновик отбрасывается. Тот же принцип — speculative generation в Voice-Light (arXiv). Цена: лишние LLM-вызовы при ложных срабатываниях.
3. Семантический turn detection (Smart Turn v3, LiveKit multilingual) вместо фиксированного таймаута: можно ставить короткий порог 100–300 мс без частых «перехватов» реплики.
4. Филлеры и «bridge speech»: «Минуточку, проверю» или «Угу» на ~300–600 мс, пока модель думает или вызывается инструмент; предзаписанное приветствие и стоп-фразы (0 мс). Это маскирует задержку, а не убирает её; собеседнику может звучать неестественно, если переборщить.
5. Колокация: оркестратор в ЕС рядом с ЕС-эндпоинтами STT/LLM/TTS и ближайшим к Лиссабону краем телефонии; Сервер Hetzner в ЕС для этого годится.
6. Малая быстрая модель с кэшем промпта и коротким системным промптом (200–600 мс TTFT — самая вариативная строка), короткие ответы по умолчанию («1–2 предложения»).
7. Формат аудио: TTS сразу в ulaw_8000, без транскодирования; минимальный буфер плеера.
8. Мониторинг хвоста: мерить p95 и p99 по этапам, не среднее; один и тот же агент даёт 600 мс p95 днём и 1,1 с в пике (Simba).

1. Speech-to-speech

Прочие замечания:

• Звонок через SIP-коннектор OpenAI: ответственность за решение звонить, настройки сессии и бизнес-логику остаётся на вашем бэкенде; события и инструменты идут по sideband WebSocket; лимиты — 3 мин на дозвон, 2 ч на разговор; 10% сбоев SIP-ингресса в жалобах разработчиков (forum).
• Названия моделей быстро меняются: старые gpt-realtime/-mini выводятся из эксплуатации 2027-01-20 (по данным Fora Soft).
• Ключ OpenAI нужен (платный API). Подписка ChatGPT/Claude Max для этого не годится.
• Конфиденциальность: S2S-голос идёт в США, если не подтверждена ЕС-обработка.

2. Каскад STT → LLM → TTS

STT

• Deepgram Flux Multilingual ($0,0078/мин по листингу): RU, PT, EN, встроенный turn detection и eager end-of-turn; переключение языка внутри разговора. Лучший выбор для телефона.
• OpenAI gpt-realtime-whisper / gpt-live-transcribe $0,017/мин (прайс); AssemblyAI Universal-Streaming — аналогичный класс, цену и RU/PT не проверял.
• Whisper на своём Hetzner без GPU для телефонной латентности не годится оценка.

LLM

• Claude Haiku 4.5 / Sonnet либо GPT mini (в таблицах Fora Soft «gpt-6-luna» $0,10/$0,50 за 1M — название сомнительное, проверять). Для реплик в 1–2 предложения — самая малая модель с кэшем промпта; Sonnet на сложных ходах — медленнее.
• Ограничение для Роберта: OAuth Claude Max нельзя использовать в сторонних приложениях; нужен ключ Console API (оплата по тарифу) или бюджет «Agent SDK Credit» ($20/$100/$200 в месяц по плану, дальше стоп или оплата по API) (Winbuzzer, ClaudeFast) блог, сверить с условиями Anthropic. Реалтайм-реплики через claude -p не подходят (старт процесса — секунды). Разумное разделение: реплики в звонке — API-модель по ключу; post-call summary и разбор — Claude Code/Agent SDK из подписки, там задержка не важна.

TTS (с клоном)

• Открытые TTS на Hetzner без GPU реалистичного «живого» отклика не дадут оценка; аренда GPU — новая платная инфраструктура, отдельное решение. Для клона голоса быстрее и дешевле начинать с Cartesia или ElevenLabs.
• Независимых замеров RU-клона на открытых моделях по одному GPU в источниках нет.

Стоимость минуты каскада (для оценок ниже)

STT $0,008 + LLM $0,005–0,03 + TTS (агент говорит ~40–50% времени) $0,02 + оркестрация $0,00–0,01 ≈ $0,035–0,07/мин без телефонии оценка. По сводке Fora Soft каскад STT+LLM+TTS — $0,02–0,04/мин (источник).

3. Оркестрация с открытым кодом

Источники сравнения: LiveKit field guide, Fora Soft, AssemblyAI блоги, в части вендорские. Оба self-hosted на Hetzner без облачной подписки; фреймворк не определяет задержку, её определяют модели, регион и endpointing. Для одного пользователя (десятки звонков в месяц) выбирать по удобству: Pipecat + Twilio/Telnyx WebSocket — минимум движущихся частей; LiveKit — если нужен нативный SIP и готовые инструменты.

4. Телефония

Дополнительно:

• Mobile-звонки на порядок дороже: у Plivo PT fixed $0,038–0,041 против mobile $0,43–0,433 (Plivo). Врачи и сервисы в PT — часто мобильные и городские 2xx; перед выбором оператора посчитать реальный микс.
• Свой номер Роберта как caller ID: технически решаемо на Twilio, и тогда обратный звонок врача попадёт Роберту, а не боту — это плюс. Но Португалия пока без закона о спуфинге (ANACOM пробует его добиться), а операторы в других странах уже блокируют «мобильные» CLI на коммерческих маршрутах (Испания с июня 2025) (CM.com, Macau Business). Для личных звонков на PT маловероятная проблема, но проверить тестом.
• Россия: надёжных данных по Twilio/Telnyx терминации и санкционным ограничениям не нашёл (общая розничная ставка ≈ $0,06/мин). Не подтверждено — проверить прайс и политику каждого оператора до расчётов.

5. Юридическое кратко (не юр. консультация)

• Раскрытие ИИ: ст. 50(1) EU AI Act применяется с 2 августа 2026, Digital Omnibus её не откладывал. Система должна быть спроектирована так, чтобы человек знал, что говорит с ИИ, кроме случая, когда это очевидно (Goodwin, Compliancehub). Штрафы до €15 млн или 3% оборота. Маркировка синтетического контента 50(2): 2 декабря 2026 для систем, выпущенных до августа.
• Голос, неотличимый от Роберта, без раскрытия — прямой риск: начинать звонок с «Здравствуйте, это голосовой ассистент Роберта…». Исключение для частных лиц, использующих ИИ в сугубо личной непрофессиональной деятельности (ст. 2(10) AI Act), я знаю из общей практики и в источниках этого ресёрча не проверял; граница «разработчик-провайдер или пользователь» для самодельной системы неясна.
• Запись: португальский Lei 41/2004 ст. 4 — запись допускается при уведомлении и согласии; одного основания GDPR недостаточно (Legiscope, Knowlee) [вторичные источники, текст закона не читал]. Практика: в начале фразу «Разговор записывается для заметок» и право собеседника отказаться; запись начинать после согласия. Первоисточник (ст. 4, 13-A, 13-B) прочесть перед продакшеном.
• Автоматические маркетинговые звонки в Португалии идут по opt-in (ст. 13-A); личные звонки «записаться к врачу» маркетингом не являются, но голосовой робот-обзвон не масштабировать.
• Клон собственного голоса: правило OpenAI и других вендоров — согласие владельца голоса, образец от того же человека. Клонировать только свой голос; чужие (мама, врач) — нет. Для deepfake-раскрытия 50(4) проверить отдельно.

6. Рекомендуемые стеки

Допущение для минут — типичный звонок 3–5 мин, агент говорит ~40–50% времени, звонок на PT landline (mobile из ЕС: + ~$0,03; mobile вне EEA-тарифа: до $0,50).

Стек 1 — быстрее всего до MVP: OpenAI Realtime (mini или 2.1) + Twilio + Pipecat/мост

• Связка: Twilio Programmable Voice → Media Streams (WebSocket) или Elastic SIP Trunk → OpenAI Realtime (WebSocket) на своём сервере в ЕС. Если организация получит outbound SIP — прямой SIP-коннектор.
• Цена: модель $0,02–0,11 + телефония ≈ $0,022 (landline: $0,0171 + $0,0044) → $0,045–0,13 ≈ €0,04–0,12/мин.
• Задержка «человек замолчал → агент заговорил», caller-side: медиана 1,2–1,6 с, p95 ~2–2,5 с оценка по Coval 1,33 с и измеренным управляемым платформам; OpenAI-бенч 1,41 с. Разбивка: телефония и сеть ~250–500 мс, VAD сервера OpenAI ~200–500 мс, остальное внутри модели (STT/LLM/TTS слиты).
• Перебивание: серверный VAD, отмена ответа и clear в Twilio; стоп ~0,3–0,6 с оценка.
• Голос: готовые голоса OpenAI, клон — только через sales; для Роберта недоступно на практике.
• RU/PT: качество не подтверждено, у mini есть жалобы на PT; тест обязателен.
• MVP: 2–3 дня (рабочий пример Twilio+Realtime есть у обоих вендоров), +1 день на обёртку «оркестратор → звонок → summary».
• Минусы: нужен платный ключ OpenAI; ЕС-обработка не подтверждена; нет клона; чёрный ящик по задержке.
• Вариант 1б: gpt-live-1 — $0,05/мин + backend, медианa ≈ 0,8 (бенч) – 1,1 с (iPhone), лучший барж-ин по обработке «ага», но Full Duplex недоступен в ЕС-воркспейсах, клон только с английскими акцентами, исходящий SIP по включению; для RU/PT нет данных.

Стек 2 — самый дешёвый: Pipecat + Telnyx (или Twilio) + Deepgram Flux + малая LLM + Cartesia/ElevenLabs Flash

• Связка: свой сервер в ЕС, например Hetzner (Pipecat) + SIP/WebSocket Telnyx или Twilio; STT — Deepgram Flux Multilingual (ЕС-эндпоинт); LLM — Haiku 4.5 по API-ключу или GPT mini; TTS — Cartesia Sonic 3 (или ElevenLabs Flash); Smart Turn v3 на CPU.
• Цена: STT $0,008 + LLM ~$0,005–0,015 + TTS $0,02 (агент говорит ~половину) + телефония $0,007–0,022 + $0,0 за Pipecat → $0,04–0,07 ≈ €0,035–0,06/мин (Fora Soft: каскад $0,02–0,04 без телефонии).
• Задержка caller-side: медиана 1,0–1,5 с, p95 1,8–2,3 с; с eager end-of-turn и колокацией в ЕС может быть 0,8–1,1 с оценка по компонентам из раздела 0.3. Разбивка (p50, мс): endpointing 100–300; STT 60–150; LLM 150–600; TTS 110–260; сеть ЕС 40–100 (США +250–300); телефония и PSTN 100–300; плеер/буфер 50–150.
• Перебивание: VAD (Silero) + interruption-frame + clear у оператора; стоп ~0,3–0,5 с оценка.
• Голос: Cartesia/ElevenLabs клон по 10 с образца — стек 3.
• MVP: 4–6 дней (Pipecat-пайплайн с готовыми сервисами, звонилка-API, транскрипты, тесты задержки).
• Минусы: больше деталей, нужны ключи Deepgram, Cartesia/ElevenLabs, Anthropic/OpenAI, оператор.

Стек 3 — лучший с клоном голоса: стек 2 + ElevenLabs Instant Clone или Cartesia Instant Clone

• То же, но TTS с голосом Роберта (10–30 с чистой записи, согласие — он сам себе владелец).
• Цена: $0,05–0,09 ≈ €0,045–0,08/мин (ElevenLabs ≈ $0,045 за минуту речи агента).
• Задержка: как у стека 2, TTS с клоном (IVC быстрее PVC) чуть медленнее: медиана 1,0–1,6 с, p95 ~2–2,5 с; RU/PT-клон проверять на слух отдельно (клон на русском и португальском звучит иначе, чем на английском).
• Открытый вариант (CosyVoice 3 на арендованном GPU) — задержка ~150 мс по заявке, $0 за символ, но GPU и поддержка = новая платная инфраструктура, отдельное решение, у Hetzner без GPU не заведётся.
• MVP: 5–8 дней, из них 1–2 на подбор и слуховую проверку голоса.
• Юридически: при голосе Роберта особенно важны раскрытие «ассистент Роберта» и согласие на запись.

Что у Bland, Vapi, Retell (для сравнения)

Стек 2 и 3 дают €0,035–0,08/мин при задержке того же порядка, что платные платформы (1,0–1,6 с): экономия по цене ~0–60% против Vapi/Retell при одном звонке в день не окупает 4–8 дней разработки. Если звонков десятки в месяц, управляемый Telnyx AI ($0,05/мин, самый быстрый по замеру) или ElevenLabs Agents — разумная альтернатива; их ограничения — клон голоса, RU/PT и интеграция с оркестратором — я не проверял.

7. Как отдавать результат Claude Code (оркестратору)

• Сервис на своём сервере: POST /call {number, language, goal, persona, constraints} → call_id; во время звонка пишет события в JSONL; по окончании — recording.wav, transcript.json (с метками времени и ролей), метрики задержки по ходам и summary.md.
• Summary делает Claude уже после звонка: там задержка не важна, можно запускать через Claude Code/Agent SDK из подписки (в пределах кредита). Реплики во время звонка — отдельная API-модель по ключу (см. раздел 2).
• В брифе звонка: цель, допустимые уступки (даты, цена), чего нельзя обещать, когда повесить трубку, что делать при IVR или голосовой почте.
• Метрики для приёмки: p50/p95 TTFAB по ходам, доля ложных перебиваний, доля успешных задач; тестовый прогон записанными репликами по тому же сценарию, что у openbenchmarks (формат замера и открытые данные: openbenchmarks-labs/voice-agent-latency).

8. Что не подтверждено или не найдено

• Независимые телефонные замеры OpenAI Realtime, Gemini Live, Pipecat, LiveKit — не нашёл; мои цифры для стеков — оценки.
• Вклад PSTN в миллисекундах — ни один источник его не выделяет.
• Качество русского и португальского у gpt-realtime/gpt-live, Gemini Live — нет независимых оценок.
• Ставка Telnyx на PT и политика по России; поддержка Verified CLI у Telnyx; цена local-номера PT у Twilio.
• Работает ли ЕС-резидентность OpenAI для Realtime; доступность outbound SIP без enterprise-договорённостей.
• Правовая квалификация самодельной системы (провайдер/пользователь) по AI Act и Lei 41/2004 — только вторичные источники.
• Некоторые модели и названия (gpt-realtime-2.1, gpt-live-1, Gemini 3.8 Live, gpt-6-luna) взяты из вторичных пересказов; официальный прайс OpenAI подтвердил gpt-realtime-2.1/-mini, gpt-live-1 $0,05/мин и тарифы транскрибации.