Парсинг, автонаполнение магазина

Что такое парсинг товаров интернет-магазина

Последние годы интернет-торговля переживает абсолютный бум. Кризис с covid в 2020 году в разы ускорил этот процесс. И если в оффлайне в увеличении продаж большую роль играл мерчандайзинг — правильная выкладка товаров на полке, то в онлайне многое решает оформление карточки товара. И за лучшее представление (а значит, и за лучшую конверсию) разворачивается нешуточное соперничество.

Всего лишь в 2010 году каждый только что открывшийся интернет-магазин не мог обойтись без штата контент-менеджеров. Такие сотрудники удаленно или в офисе целыми днями переносили описания и характеристики из pdf и бумажных проспектов производителей, фотографировали товары, писали короткие описания.

Что изменилось с тех пор? Да почти всё! Руководители магазинов поняли, что характеристики товаров у всех одни и те же, разбивка по разделам тоже. Максимум что может быть уникальным - это фотографии, текстовое описание, отзывы клиентов. Следовательно, это возможность сэкономить на контент-менеджерах, переложив часть работы по наполнению магазина на плечи программного кода. Вот эта программа и называется парсером, а процесс сбора информации с "сайта-донора" - соответственно парсингом.

Сам процесс сбора такой информации может занимать достаточно много времени - чем больше товаров на сайте-доноре, тем большее количество страниц программа обходит в процессе работы. Но это время всё равно значительно меньше, чем при ручном добавлении данных. Кроме того, парсер можно создать таким образом, чтобы собранные им данные сразу попадали в нужные места - создавались разделы на сайте, туда помещались товары, у товаров загружались фото и создавались характеристики с нужными значениями, работал фильтр на сайте и так далее. Такие программы создаются индивидуально под требования заказчика.

Кроме получения этих данных часто парсингом называют другие процессы, например автоматическое обновление цен и остатков магазина из прайсов поставщиков. В данном случае многие поставщики идут навстречу своим клиентам и предоставляют всю информацию в удобных для работы форматах - XLS, CSV, XML, JSON. Но бывают ситуации, когда таких файлов не предоставляется, что затрудняет сбор нужной информации, однако не делает данную процедуру вообще невозможной. Спарсить можно практически всё, что Вы видите в окне браузера.

Плюсы и минусы парсинга

Первое и очевидное преимущество автоматического парсинга - стоимость работ. Очевидно, что наполнить магазин товарами или обновить цены с помощью программы займёт в десятки раз меньше времени, чем аналогичная ручная работа. Со стоимостью кажется тоже самое - один раз потратились на написание программы и пользуетесь потом всю жизнь. Однако это не всегда так. Если количество товаров небольшое (обычно меньше 100) - то трудозатраты на ручное добавление их на сайт и на создание программы-парсера приблизительно равны. Что же касается постоянной работы программы - то и здесь есть "подводные камни": на сайте-доноре могут произвести какие-либо работы (например изменение верстки или структуры), поставщик может видоизменить прайс (добавить или убрать столбцы в экселе) что потребует соответствующей правки программы-парсера, а значит и небольших финансовых трат.

Второе преимущество - точность работы. Поскольку перенос данных осуществляется программой, то точность работы гораздо выше, чем при ручной обработке. Однако и здесь кроется нюанс, связанный с тем, что при переносе данных они будут импортированы один-в-один, со всеми возможными недочётами сайта-донора. Кроме того, степень уникальности данных будет стремиться к нулю.

Парсинг данных с авторизацией или с защищенного сайта

Бывают случаи, когда сбор данных нужно осуществлять из закрытого раздела сайта-донора с помощью имеющегося логина и пароля. Для этого программе-парсеру необходимо сначала авторизоваться по предоставленным доступам, после чего осуществить сбор данных. В некоторых случаях, доступ к сайту-донору ограничен по IP-адресу страны из которой работает парсинг, тогда на помощь приходит VPN.

В каждом отдельном случае возможно свои нюансы, но в большинстве своём проблемы решаются. Всё что не получается решить "в лоб" - решаем "в бок"! ))) Обращайтесь!