Как сделать ИИ-агента для скраппинга любой информации

В чате Нейроцеха часто мелькал запрос — научить нейронку делать скраппинг для сбора информации. Мы решили разобраться в теме и сделали ИИ-агента, который умеет делать скраппинг одного или нескольких сайтов сразу, выписывать карту сайта и даже идти вглубь сайта и находить нужную информацию. А результаты скраппинга записывать в Гугл-таблицу и дублировать результат в телеграм-бота.

Рассказываем, как все настроить.

Где будем работать

Для работы понадобится no-code конструктор ботов n8n. Он работает платно в браузере (дают 15 дней бесплатной версии) и бесплатно, если установить его на собственном сервере. Платная подписка стоит от 24 евро в месяц. На ней можно делать до 2500 запросов к боту.

Я рекомендую сначала установить n8n на своем сервисе, а потом настраивать агента. Об установке n8n на сервере читайте в этом гайде