Рабочие процессы голосовых ассистентов
Настройте ввод и вывод голоса для агента Hermes, чтобы вы могли общаться с ним через микрофон терминала, голосовые заметки в Telegram или Discord, либо через голосовой канал Discord, получая устные ответы — всё это с использованием одного и того же агента, памяти и скиллов.
Что понадобится
- Выберите провайдера TTS: xAI TTS подключается автоматически при использовании эндпоинта xAI, а ElevenLabs и другие бэкенды TTS настраиваются в
config.yaml. Для распознавания речи обычно используется Whisper (локальный или через API). - Набор инструментов для работы с голосом и TTS включён (
hermes tools). - Провайдер TTS (xAI TTS, ElevenLabs или совместимый).
- Система распознавания речи (Whisper локальный или через API).
- Шлюз обмена сообщениями для используемой платформы (Telegram, Discord).
Как применить
Голосовой ввод в основном не отличается от текстового — вы говорите так же, как писали бы. Полезные примеры:
Краткие голосовые команды, которые неудобно набирать: «добавить молоко и кофе в список покупок»
Проверка статуса без использования рук: «что у меня в расписании на завтра?»
Во время вождения/ходьбы: «отправь в Telegram моему партнёру сообщение, что я опоздаю на 20 минут»
Задержку в основном определяют процессы распознавания речи и генерации речи, а не сама модель. Для повышения отзывчивости решающее значение имеют быстрый локальный Whisper и провайдер TTS с потоковой передачей данных.
Режим голосового канала в Discord — самый сложный в настройке: требуются постоянные разрешения на использование голоса для бота и VPS с открытым исходящим UDP-трафиком.
В Termux на Android существуют ограничения на работу с голосом, указанные в официальном репозитории; дополнительный пакет .[termux] намеренно исключает некоторые зависимости, связанные с голосом.
Настройка
Голосовой ввод включается через hermes tools и настройки провайдера. Самый быстрый способ:
hermes setup # the wizard offers voice configuration
hermes tools # enable the Voice & TTS toolset explicitly
Для конкретных платформ обмена сообщениями необходимо включить соответствующий шлюз (Telegram, Discord). Режим работы бота в голосовом канале Discord описан в отдельном разделе документации — присоединиться к каналу можно вручную или настроить автоматическое подключение по ключевому слову.
Источник: aliaihub/awesome-hermes-usecases и участники проекта. Лицензия: CC-BY-4.0. Лицензия исходного материала.
Перевод и редакционная адаптация: ClawCases.
>Ресурсы
>Похожие юзкейсы
Краткое изложение решения по правилу коммуникации 1-3-1
Составляет краткие изложения решений по правилу 1-3-1 для задач с несколькими приемлемыми вариантами, формулируя одно предложение, описывающее суть проблемы, три варианта с их плюсами и минусами, а также одну рекомендацию с определением готовности и планом реализации.
Трекер отчётности компаний на базе ИИ
Следите за сезоном корпоративной отчётности десятков технологических компаний без ручной проверки разных источников и запоминания дат каждого отчёта в сфере ИИ и технологий.
Арбитр разрешения конфликтов слияния агентов
Разрешает конфликт слияния Git между ветками двух агентов в качестве беспристрастной третьей стороны: нейтральный арбитр, который принимает обе версии изменений и указанные намерения, после чего формирует итоговый результат слияния, не перезаписывая ни одну из сторон.