Учим нейронку распознавать голосовые сообщения

В прошлом уроке мы сделали бота-секретаря с помощью инструментов: предыдущих уроках наши агенты отвечали текстом. Пользователь спрашивает — бот говорит.

А что если бот не просто ответит, а сделает что-то? Создаст встречу в календаре, добавит задачу в список дел, забронирует столик? Для этого агент должен научиться понимать человеческую речь и превращать ее в точные данные, которые понимают другие сервисы.

В этом уроке мы сделаем такого бота.

Делаем бота-секретаря для Google Calendar

Создадим бота, который понимает запросы вроде «Встреча с клиентом завтра в 14:00» и создает события в Google Calendar.

Для начала создайте новый workflow и назовите его «Бот-секретарь».

Добавьте Telegram Trigger → On message. Подключите свои credentials.

Секретарю удобнее диктовать, чем писать. Поэтому наш бот будет понимать и текстовые сообщения, и голосовые. Для этого нужно добавить несколько нод, которые определят тип сообщения и при необходимости расшифруют аудио в текст.

Первым делом добавим индикатор набора текста. Расшифровка голосового занимает пару секунд. Чтобы пользователь не думал, что бот завис, покажем ему индикатор «печатает…».

Добавьте ноду Telegram → Send Chat Action и подключите ее к Telegram Trigger.

Настройте:

• Operation: Send Chat Action
• Chat ID: {{ $json.message.chat.id }}
• Action: Typing