Собираем бота-парсера

В предыдущих уроках наши агенты работали только с тем, что им присылал пользователь. Но что, если нужно, чтобы агент сам добывал информацию из интернета?

Представьте: вы хотите каждое утро получать курс доллара, следить за ценами на товар в интернет-магазине или собирать заголовки новостей с любимого сайта. Все это — задачи для парсинга.

В этом уроке мы научим агента ходить в интернет за данными. Сначала разберемся с короткой теорией, а потом соберем бота, который по команде покажет актуальный курс валют.

Что такое парсинг и зачем он нужен

Парсинг — это автоматический сбор информации с сайтов или сервисов. Вместо того чтобы вручную открывать страницу и искать нужные данные, вы поручаете это агенту.

Зачем это нужно на практике:

• Мониторинг цен — агент проверяет стоимость товара и сообщает, когда она упала.
• Сбор новостей — агент собирает заголовки с нескольких сайтов в одну ленту.
• Отслеживание курсов валют — агент присылает актуальный курс по расписанию.
• Анализ конкурентов — агент следит за обновлениями на сайтах конкурентов.

Главный инструмент для этого в n8n — нода HTTP Request. Она умеет отправлять запросы к любым сайтам и API, получать ответы и передавать их дальше по цепочке.

Данные можно получать 2 способами: через API и HTML

Когда агент идет за данными в интернет, он может столкнуться с двумя ситуациями.