Расширение для ручного парсинга
Случается, что информации о товаре нет в нашей библиотеке, но она есть на каком-то сайте. При этом вручную копировать её — долго и утомительно. Мы сделали расширение для браузера, которое помогает в такой ситуации.
Принцип работы
Пользователь устанавливает расширение. Когда пользователь с установленным активным расширением открывает страницу сайта, который система может распарсить, HTML код страницы отправляется на сервер catalog.app. Сервер собирает информацию о ценах, характеристиках, описаниях и изображениях товаров со страницы.
Собранные данные попадают в общую (публичную) или приватную библиотеку — в зависимости от выбранного в настройках расширения назначения данных.
Решаемые задачи
- Такой подход позволяет получить информацию даже со страниц, закрытых авторизацией или жесткой капчей.
- Можно получать информацию о новинках, не дожидаясь, пока её найдет автоматический парсер.
- Если сайт ещё не поддерживается, с помощью расширения можно отправить образцы страниц, по которым система автоматически создаёт новый парсер.
Установка
- Скачайте расширение.
- Распакуйте архив в какую-либо папку на вашем компьютере.
- Откройте браузер (на движке Chromium) и перейдите на страницу «Управление расширениями» (Menu → Extensions → Manage Extensions).
- Включите переключатель «Режим разработчика» (Developer mode).
- Нажмите «Загрузить распакованное» (Load unpacked) и укажите путь к папке с расширением.
Настройка
Откройте настройки расширения кнопкой-шестерёнкой (⚙) в правом верхнем углу всплывающего окна (или через пункт «Параметры»/«Options» в контекстном меню значка). Страница настроек разделена на три вкладки: Основные, Сценарии и Дополнительно.
Вкладка «Основные»
Профиль
Показывает данные авторизованного пользователя. Если вход не выполнен, отображается баннер с пояснением: неавторизованные пользователи тоже могут пользоваться расширением — собранные данные попадают в общую публичную библиотеку, доступную всем.
Учётные данные
Введите логин и пароль от вашего аккаунта в catalog.app и нажмите «Войти». Расширение проверит данные на сервере и, при успехе, сохранит их. Кнопка «Выйти» очищает сохранённые данные.
Авторизация не обязательна — без неё расширение работает в режиме сбора данных в общую публичную библиотеку.
Назначение данных
- Публичная библиотека — собранные данные доступны всем пользователям системы. Подходит, если вы не авторизованы или хотите делиться данными со всеми.
- Приватная библиотека — данные видны только вашей компании. Требует входа в аккаунт.
Если вы не авторизованы, выбор приватной библиотеки недоступен; настройка автоматически переключается на публичную.
Вкладка «Сценарии»
Здесь создаются и редактируются сценарии — именованные списки адресов (по одному URL в строке), которые расширение обходит автоматически. Нажмите «Новый сценарий», задайте имя и список ссылок, затем «Сохранить». Запускаются сценарии из всплывающего окна, на вкладке «Автоматизация» (см. раздел Автоматизация).
Вкладка «Дополнительно»
Настройка автоматизации
Тонкая настройка таймингов прокрутки, навигации и парсинга для автоматического обхода. Значения по умолчанию подходят большинству сайтов: увеличьте задержки для медленных или «тяжёлых» (с обильной ленивой подгрузкой) страниц, уменьшите — чтобы обходить быстрее. Изменения применяются к уже запущенному обходу на следующем шаге. Кнопка «Сбросить по умолчанию» возвращает значения по умолчанию.
Для разработчиков
- Режим отладки — переключает расширение на локальный API (
localhost). Используется только для разработки.
Использование
Откройте поддерживаемый системой сайт. На значке расширения появится цветной индикатор:
- Зелёный — страница успешно распарсена, данные сохранены.
- Синий — страница сохранена: либо как образец для будущего парсера (если парсера для сайта ещё нет), либо не распознана текущим парсером (тип страницы не подошёл).
- Оранжевый — обработка в процессе.
- Красный — ошибка обработки.
Нажмите на значок расширения, чтобы открыть всплывающее окно. Оно состоит из двух вкладок:
- Статус — результат по текущей странице: список найденных товаров с ценами и изображениями, либо статус обучения для сайтов без готового парсера.
- Автоматизация — управление автоматическим обходом сайтов (см. ниже).
Автоматизация
Чтобы не открывать страницы вручную, расширение может обходить сайт само: прокручивать страницы до конца (для подгрузки всех товаров) и переходить дальше, попутно отправляя данные на сервер. Управление — на вкладке Автоматизация всплывающего окна. Одновременно может выполняться только один обход.
Обход домена
В разделе Сайты перечислены поддерживаемые сайты. Кнопка ▶ напротив домена запускает обход: расширение открывает фоновую вкладку, прокручивает страницы и переходит по ссылкам в пределах того же сайта, собирая товары. Рядом с активной строкой показывается прогресс: сколько страниц пройдено, а также сколько карточек и цен собрано. Остановить обход можно кнопкой ⏹ — там же или в заголовке всплывающего окна, когда открыта рабочая вкладка обхода.
Сценарии
В разделе Сценарии перечислены созданные вами сценарии (списки конкретных URL — см. вкладку «Сценарии» в настройках). Кнопка ▶ запускает сценарий: расширение по очереди открывает каждый адрес из списка, прокручивает его до конца и парсит, после чего останавливается. Ссылка «Управление» открывает редактор сценариев в настройках.
Итоги обхода
Когда обход или сценарий завершается (сам по себе, по кнопке ⏹ или из-за ошибки), рабочая вкладка не остаётся на последней странице, а открывает страницу с итогами. На ней видно: тип задания и статус (завершено / остановлено / прервано из-за ошибки), источник (домен или название сценария), затраченное время, сколько страниц пройдено и сколько карточек и цен собрано. Вкладку с итогами можно просто закрыть.
Важно: фоновые вкладки и ленивая подгрузка
Браузеры на движке Chromium сильно ограничивают вкладки, которые в данный момент не активны: приостанавливают анимацию и фоновую подгрузку, замедляют таймеры. Поэтому на сайтах с «ленивой» подгрузкой товаров (Ozon, Wildberries, Яндекс Маркет и подобных) в фоновой вкладке страница может прокручиваться, но новые товары не догружаются — и собирается лишь часть каталога.
Чтобы собрать такую страницу полностью, держите рабочую вкладку обхода видимой: переключитесь на неё или оставьте её в видимом окне и не сворачивайте его. Переход в другое приложение не мешает, пока вкладка остаётся видимой; а вот переключение на другую вкладку в том же окне снова «замораживает» обход.
Для очень больших страниц (несколько тысяч товаров) увеличьте на вкладке «Дополнительно» параметры «Максимум проходов» и «Макс. время прокрутки / страницу» — иначе значений по умолчанию может не хватить, чтобы догрузить все товары.
Новые сайты: автоматическое создание парсеров
Если вы открываете сайт, для которого парсер ещё не создан, отправьте несколько его страниц как образцы: на странице с товарами нажмите кнопку «Отправить образец» в заголовке всплывающего окна — она отправит текущую страницу как новый образец. Отправляйте страницы разных типов — и списки товаров, и карточки. Во всплывающем окне виден счётчик прогресса — например, «2 из 5 образцов собрано».
Когда собрано нужное количество образцов, система автоматически генерирует парсер с помощью ИИ. Обычно парсер готов за 10–15 минут, после чего страницы того же сайта начнут обрабатываться автоматически.
Сообщить о проблеме
Если парсер работает неправильно (нашёл не все товары, неверные цены, испорченные изображения), нажмите ссылку «Сообщить об ошибке парсера» на вкладке «Статус» всплывающего окна.
Выберите тип проблемы:
- Парсер работает — нужны доработки — парсер в целом работает, но нуждается в доработке.
- Парсер сломан — пересоздать с нуля — парсер сломан, нужно пересоздать его заново.
Опишите проблему в открывшемся поле и нажмите «Отправить». Текущая страница автоматически прикрепится к отчёту как новый образец, и система перегенерирует парсер с учётом вашего отзыва.