Расширение для ручного парсинга

Случается, что информации о товаре нет в нашей библиотеке, но она есть на каком-то сайте. При этом вручную копировать её — долго и утомительно. Мы сделали расширение для браузера, которое помогает в такой ситуации.

Скачать расширение (ZIP)

Принцип работы

Пользователь устанавливает расширение. Когда пользователь с установленным активным расширением открывает страницу сайта, который система может распарсить, HTML код страницы отправляется на сервер catalog.app. Сервер собирает информацию о ценах, характеристиках, описаниях и изображениях товаров со страницы.

Собранные данные попадают в общую (публичную) или приватную библиотеку — в зависимости от выбранного в настройках расширения назначения данных.

Решаемые задачи

  • Такой подход позволяет получить информацию даже со страниц, закрытых авторизацией или жесткой капчей.
  • Можно получать информацию о новинках, не дожидаясь, пока её найдет автоматический парсер.
  • Если сайт ещё не поддерживается, с помощью расширения можно отправить образцы страниц, по которым система автоматически создаёт новый парсер.

Установка

  1. Скачайте расширение.
  2. Распакуйте архив в какую-либо папку на вашем компьютере.
  3. Откройте браузер (на движке Chromium) и перейдите на страницу «Управление расширениями» (Menu → Extensions → Manage Extensions).
  4. Включите переключатель «Режим разработчика» (Developer mode).
  5. Нажмите «Загрузить распакованное» (Load unpacked) и укажите путь к папке с расширением.

Настройка

Откройте настройки расширения кнопкой-шестерёнкой (⚙) в правом верхнем углу всплывающего окна (или через пункт «Параметры»/«Options» в контекстном меню значка). Страница настроек разделена на три вкладки: Основные, Сценарии и Дополнительно.

Вкладка «Основные»

Профиль

Показывает данные авторизованного пользователя. Если вход не выполнен, отображается баннер с пояснением: неавторизованные пользователи тоже могут пользоваться расширением — собранные данные попадают в общую публичную библиотеку, доступную всем.

Учётные данные

Введите логин и пароль от вашего аккаунта в catalog.app и нажмите «Войти». Расширение проверит данные на сервере и, при успехе, сохранит их. Кнопка «Выйти» очищает сохранённые данные.

Авторизация не обязательна — без неё расширение работает в режиме сбора данных в общую публичную библиотеку.

Назначение данных

  • Публичная библиотека — собранные данные доступны всем пользователям системы. Подходит, если вы не авторизованы или хотите делиться данными со всеми.
  • Приватная библиотека — данные видны только вашей компании. Требует входа в аккаунт.

Если вы не авторизованы, выбор приватной библиотеки недоступен; настройка автоматически переключается на публичную.

Вкладка «Сценарии»

Здесь создаются и редактируются сценарии — именованные списки адресов (по одному URL в строке), которые расширение обходит автоматически. Нажмите «Новый сценарий», задайте имя и список ссылок, затем «Сохранить». Запускаются сценарии из всплывающего окна, на вкладке «Автоматизация» (см. раздел Автоматизация).

Вкладка «Дополнительно»

Настройка автоматизации

Тонкая настройка таймингов прокрутки, навигации и парсинга для автоматического обхода. Значения по умолчанию подходят большинству сайтов: увеличьте задержки для медленных или «тяжёлых» (с обильной ленивой подгрузкой) страниц, уменьшите — чтобы обходить быстрее. Изменения применяются к уже запущенному обходу на следующем шаге. Кнопка «Сбросить по умолчанию» возвращает значения по умолчанию.

Для разработчиков

  • Режим отладки — переключает расширение на локальный API (localhost). Используется только для разработки.

Использование

Откройте поддерживаемый системой сайт. На значке расширения появится цветной индикатор:

  • Зелёный — страница успешно распарсена, данные сохранены.
  • Синий — страница сохранена: либо как образец для будущего парсера (если парсера для сайта ещё нет), либо не распознана текущим парсером (тип страницы не подошёл).
  • Оранжевый — обработка в процессе.
  • Красный — ошибка обработки.

Нажмите на значок расширения, чтобы открыть всплывающее окно. Оно состоит из двух вкладок:

  • Статус — результат по текущей странице: список найденных товаров с ценами и изображениями, либо статус обучения для сайтов без готового парсера.
  • Автоматизация — управление автоматическим обходом сайтов (см. ниже).

Автоматизация

Чтобы не открывать страницы вручную, расширение может обходить сайт само: прокручивать страницы до конца (для подгрузки всех товаров) и переходить дальше, попутно отправляя данные на сервер. Управление — на вкладке Автоматизация всплывающего окна. Одновременно может выполняться только один обход.

Обход домена

В разделе Сайты перечислены поддерживаемые сайты. Кнопка ▶ напротив домена запускает обход: расширение открывает фоновую вкладку, прокручивает страницы и переходит по ссылкам в пределах того же сайта, собирая товары. Рядом с активной строкой показывается прогресс: сколько страниц пройдено, а также сколько карточек и цен собрано. Остановить обход можно кнопкой ⏹ — там же или в заголовке всплывающего окна, когда открыта рабочая вкладка обхода.

Сценарии

В разделе Сценарии перечислены созданные вами сценарии (списки конкретных URL — см. вкладку «Сценарии» в настройках). Кнопка ▶ запускает сценарий: расширение по очереди открывает каждый адрес из списка, прокручивает его до конца и парсит, после чего останавливается. Ссылка «Управление» открывает редактор сценариев в настройках.

Итоги обхода

Когда обход или сценарий завершается (сам по себе, по кнопке ⏹ или из-за ошибки), рабочая вкладка не остаётся на последней странице, а открывает страницу с итогами. На ней видно: тип задания и статус (завершено / остановлено / прервано из-за ошибки), источник (домен или название сценария), затраченное время, сколько страниц пройдено и сколько карточек и цен собрано. Вкладку с итогами можно просто закрыть.

Важно: фоновые вкладки и ленивая подгрузка

Браузеры на движке Chromium сильно ограничивают вкладки, которые в данный момент не активны: приостанавливают анимацию и фоновую подгрузку, замедляют таймеры. Поэтому на сайтах с «ленивой» подгрузкой товаров (Ozon, Wildberries, Яндекс Маркет и подобных) в фоновой вкладке страница может прокручиваться, но новые товары не догружаются — и собирается лишь часть каталога.

Чтобы собрать такую страницу полностью, держите рабочую вкладку обхода видимой: переключитесь на неё или оставьте её в видимом окне и не сворачивайте его. Переход в другое приложение не мешает, пока вкладка остаётся видимой; а вот переключение на другую вкладку в том же окне снова «замораживает» обход.

Для очень больших страниц (несколько тысяч товаров) увеличьте на вкладке «Дополнительно» параметры «Максимум проходов» и «Макс. время прокрутки / страницу» — иначе значений по умолчанию может не хватить, чтобы догрузить все товары.

Новые сайты: автоматическое создание парсеров

Если вы открываете сайт, для которого парсер ещё не создан, отправьте несколько его страниц как образцы: на странице с товарами нажмите кнопку «Отправить образец» в заголовке всплывающего окна — она отправит текущую страницу как новый образец. Отправляйте страницы разных типов — и списки товаров, и карточки. Во всплывающем окне виден счётчик прогресса — например, «2 из 5 образцов собрано».

Когда собрано нужное количество образцов, система автоматически генерирует парсер с помощью ИИ. Обычно парсер готов за 10–15 минут, после чего страницы того же сайта начнут обрабатываться автоматически.

Сообщить о проблеме

Если парсер работает неправильно (нашёл не все товары, неверные цены, испорченные изображения), нажмите ссылку «Сообщить об ошибке парсера» на вкладке «Статус» всплывающего окна.

Выберите тип проблемы:

  • Парсер работает — нужны доработки — парсер в целом работает, но нуждается в доработке.
  • Парсер сломан — пересоздать с нуля — парсер сломан, нужно пересоздать его заново.

Опишите проблему в открывшемся поле и нажмите «Отправить». Текущая страница автоматически прикрепится к отчёту как новый образец, и система перегенерирует парсер с учётом вашего отзыва.