Как сделать ИИ-агента для скраппинга любой информации

В чате Нейроцеха часто мелькал запрос — научить нейронку делать скраппинг для сбора информации. Мы решили разобраться в теме и сделали ИИ-агента, который умеет делать скраппинг одного или нескольких сайтов сразу, выписывать карту сайта и даже идти вглубь сайта и находить нужную информацию. А результаты скраппинга записывать в Гугл-таблицу и дублировать результат в телеграм-бота.

Рассказываем, как все настроить.

А если не хотите читать гайд — смотрите короткий видеообзор, где мы разбираемся со структурой агента и показываем, как он работает.

Шаг 1. Подключаем нужные сервисы

Нам понадобятся:

  • OpenAI, Anthropic или OpenRouter;
  • Google Sheets;
  • Telegram;
  • Firecrawl через HTTP-ноду.

Если ранее не подключали к n8n Google-сервисы, сначала изучите наш другой гайд:

Активируем Firecrawl

Чтобы настроить Firecrawl, нужно перейти на официальный сайт и зарегистрироваться. После этого перейдите в раздел Dasboard, в левой части экрана выберите API Keys → Create API Key.

Сохраните скопированный ключ, он понадобится чуть позже.

Вступив в Нейроцех, вы получите
доступ к материалу, а также:

Закрытое активное
сообщество

Доступ к ежемесячным
вебинарам

100+ подробных гайдов по нейросетям

24 скидки от партнёров на различные сервисы

Продажи Нейроцеха сейчас закрыты

Подпишитесь на нас, чтобы не потеряться.
Мы сообщим, когда откроем доступ в Нейроцех.

Какой-то текст ошибки
Спасибо за подписку.
Одно или несколько полей содержат ошибку. Пожалуйста проверьте и попробуйте снова.
При отправке запроса произошла ошибка. Пожалуйста, попробуйте позже.

Telegram-бот

Новости Нейроцеха

Уже есть аккаунт? Войти