A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

Сборник рецептов #52: чекер e-mail, отзывы Wildberries и двойные ссылки в выдаче Google

52-й сборник рецептов, в котором опубликованы парсер для универсальной проверки e-mail, парсер отзывов из Wildberries и пресет для сбора двойных ссылок одного сайта из выдачи Google.

Универсальный чекер e-mail

Парсер для универсальной проверки почт. Делается проверка на валидность, на наличие MX записей и на существование почты.



Парсер отзывов Wildberries Reviews

Парсинг отзывов из Wildberries в CSV таблицу с возможностью задать локацию и необходимое кол-во отзывов.



Сбор двойных ссылок одного сайта из Google выдачи

Парсинг двойных ссылок одного сайта с первой страницы выдачи Google в CSV таблицу.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Курс "Специалист по дропам и PBN с нуля до профи" используя A-Parser (+включает лицензию)


Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 26 сентября.

Что это за обучение?
Практический курс, после которого вы научитесь и узнаете:

— какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
— как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
— как строить PBN, что с ними делать дальше и как на них зарабатывать
— как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

Для кого это обучение?
— Для seo-мастеров, которые хотят продвигать сложные ниши в различных гео. Для тех, кто ищет новые методы линкбилдинга. Для тех, кто хочет в текущей компании повысить компетенции и доход
— Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая - https://www.facebook.com/nkodiy/posts/5305252276258938

1.2.1661 - новые парсеры: Яндекс Балабоба и позиции в DuckDuckGo, улучшения во встроенных парсерах



Улучшения

• Добавлен парсер позиций DuckDuckGo: SE:: DuckDuckGo:: Position
• Добавлен парсер Яндекс Балабоба: SE::Yandex::Balaboba
• Реализована работа с XEvil через API Antigate v2
• Добавлена передача кук Google при включении опции ReCaptcha2 pass proxy в SE::Google
• Обновлен список доменов в SE::Yandex
• В связи с тем, что Яндекс теперь всегда выдает по 10 результатов на страницу, в SE::Yandex убран параметр Links per page
• В HTML::LinkExtractor и Check::BackLink добавлен сбор <a> тега
• В Shop::AliExpress добавлена поддержка сессий
• В HTML::EmailExtractor добавлена опция Skip meta tags, при ее включении указывает парсеру не собирать почты в meta тегах
• В парсере DeepL::Translator актуализирован список языков

Исправления в связи с изменениями в выдаче

• Исправлено определение опечатки по запросу в SE::Yandex
• SE::Yandex::WordStat - исправлена авторизация в режиме HTTP
• Исправлено определение рекламы в SE::Yandex:: Direct
• Исправлен Shop::Wildberries:: ProductsList при парсинге по ключевым словам
• SE::Baidu - исправлена работа в тех случаях, когда по запросу нет результатов
• SE::Google, SE::Yandex, SE::Bing, SE::Google::Images, Rank::MajesticSEO, Rank::MOZ, Shop::AliExpress, Shop::Amazon, SE:: Pinterest

Исправления

• Исправлен выбор региона в SE::Yandex
• Исправлена обработка url с кириллицей в PAA SE::Google
• Исправлена работа SE::Google::KeywordPlanner, в некоторых случаях парсер не видел ответ и ошибочно повторял попытки
• Исправлена ошибка логина в парсере SE::Yandex:: Direct
• В SE::Yandex::Register исправлен баг при отображении Яндексом ошибки о некорректном номере телефона или о других проблемах
• SE::Google::Translate - в некоторых случаях парсинг завершался с ошибкой
• Исправлен баг с ошибочным выводом результатов в Net::HTTP при сборе через регулярку, в случаях когда один запрос отработал успешно, а другой нет, и второй вывел результаты первого
• Исправлена ошибка с висящими процессами Chrome после завершения задания на Windows 11
• Исправлена доступность fs.constants

Сборник статей #16: вывод результатов в JSON, синхронизации файлов и SEO кейс продвижения сайта

Представляем 16-й сборник статей, в который вошли статья о вариантах вывода результатов в JSON виде, статья о синхронизации А-Парсеров на разных ПК с помощью Google Диск и SEO кейс продвижения сайта с выходом на иностранный рынок.

Обзор вариантов вывода результатов в JSON виде

Полный обзор всех возможных способов вывода результатов в JSON виде с примерами: вывод в JSON для одиночных запросов, формирование JSON построчно, формирование объекта в памяти и вывод результатов в JSON в конце работы задания.



Синхронизация А-Парсеров на разных ПК с помощью Google Диск (Google Drive)

В этой статье описывается как синхронизировать файлы А-Парсера, конфиги, все настройки которые вы сделали на одном ПК, с другим ПК.
В качестве инструмента будет использоваться простой и бесплатный Google Диск (Google Drive) с помощью которого вы можете хранить и передавать коллегам файлы и папки, а также работать над ними вместе с другими пользователями на компьютере или мобильном устройстве.



Как мы потратили 1 млн рублей для выхода на иностранный рынок SEO: кейс с расходами и результатами

Статья на vc.ru о том, как мы за 3 месяца вывели сайт с нуля в топ по Южной Африке. Делимся готовой пошаговой схемой быстрого вывода сайта на иностранный рынок, с данными по нагрузке сотрудников, расходами, таблицами и примерами ТЗ.
Для массовой проверки выдачи Google использовался Python и парсер A-Parser.
Кейсы по применению нашего парсера Google и его описание:
https://a-parser.com/docs/parsers/se-google



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Сборник рецептов #53: популярные запросы Google Trends, парсер yep.com и проверка домена в выдаче

53-й сборник рецептов, в котором собраны парсер популярных запросов за сутки на Google Trends, парсер yep.com и пресет для проверки на содержание доменов в выдаче.

Парсинг популярных запросов за сутки Google Trends

Парсер для сбора поисковых трендов за сутки с Гугл Трендс. Собираются дата, название запроса, трафик, похожие запросы и ссылка на позицию.



Парсер yep.com

Простой пресет для парсинга поисковой системы yep.com.



Yandex - проверка на содержание доменов в выдаче

Пресет для проверки на содержание доменов в выдаче с записью в разные файлы результатов по условию.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

1.2.1683 - новый парсер Cloudflare::Radar, поддержка сервиса CaptchaAI, исправления ошибок



Улучшения

• Добавлен новый парсер Cloudflare::Radar, определяет категории доменов
• В парсеры Util::ReCaptcha2, Util::ReCaptcha3, Util::hCaptcha добавлена поддержка сервиса CaptchaAI
• В Rank::Ahrefs добавлен сбор рейтинга страницы (URL rating)
• Обновлен список языков в DeepL::Translator

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке Google и Яндекс
• Исправлен сбор totalcount в SE::Yandex для некоторых запросов
• Исправлен выбор региона в SE::Yandex:irect
• Исправлена работа Rank::Ahrefs::KeywordGenerator c Country - United Kingdom
• В Shop::Yandex::Market по некоторым запросам не было результатов
• SE::Google::Images, Rank::Ahrefs::KeywordGenerator, Shop::Yandex::Market

Исправления

• Исправлено лишнее использование сессии на последней попытке в SE::Google
• Исправлен парсинг поисковой выдачи Яндекс, когда в выдаче только 1 результат
• Исправлена ошибка в Telegram::GroupScraper, из-за которой парсились не все имена и ссылки на логины
• Исправлен баг в SE::Yandex::Position, из-за которого ошибочно осуществлялся поиск по запросу вместе с искомым доменом
• Исправлена проблема в Check::RosKomNadzor, из-за которой при массовом парсинге иногда не менялась прокси
• В HTML::LinkExtractor исправлен сбор внутренних ссылок после редиректа
• Puppeteer: улучшена работа с сайтами, запрашивающими доступ в модальном диалоге

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг базы фильмов из IMDB
Парсер получает данные о каждом фильме и записывает их в результат: название, дата выхода, рейтинг, рекомендаций к ним и другое

Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool
Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool. Используется технология Chrome User Experience Report (CrUX) - это набор данных, отражающий, как реальные пользователи Chrome взаимодействуют с популярными сайтами в Интернете.

Парсер профиля YouTube
Парсинг данных о Youtube канале: дата регистрации, количество просмотров, страна, email из описания (если есть), описание, ссылки

Парсинг istio.com
Парсер для анализа текстов на сервисе istio.com. С его помощью можно определить такие показатели как тошнота, водность, словари, тематика, статистика и т.п. В качестве запросов можно подавать как тексты, так и ссылки на страницы.

Оценка страниц с использованием Lighthouse
Парсер для оценки производительности, доступности и оптимизации веб-страниц с использованием технологии Lighthouse. Lighthouse - это автоматизированный инструмент с открытым исходным кодом для улучшения качества веб-страниц. С помощью данной технологии осуществляется аудит сайта и можно получить такие показатели как производительность, доступность, оценку доступности для поисковых систем и т.д.

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Видео урок: Сбор форм комментариев с помощью A-Parser

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан сбор форм комментариев.


Данный видео урок показывает, как собрать сайты, где можно оставить свой комментарий в форму комментирования статей.

Плейлист со всеми видео уроками от DIM STUDIO

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Обновленные пресеты в каталоге A-Parser ч.2

Обновление пресетов в Каталоге примеров A-Parser часть 2

Парсинг количества трафика на сайтах
Данный парсер позволяет собирать данные о посещаемости сайтов за день, неделю, месяц, тесты, параметры домена, техническое состояние, внутреннюю оптимизацию.

Сохранение в результатах TOP-3 Google
Пресет сохраняет первые ТОП-3 сниппета выдачи Google.

Парсер Яндекс Кью
Парсер собирает список вопросов по запросам и ответы к ним. Для каждого вопроса, кроме ответа, собираются данные о рейтинге, дате публикации, авторе, просмотрам и т.д.

JS::MailValidator
Проверка существования e-mail адресов. Поддерживаются 9 почтовых сервисов: Gmail, Outlook, Yandex, Rambler, Yahoo, Mail.ru, GMX, AOL, iCloud


Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

1.2.1770 - 3 новых парсера, адаптация существующих парсеров к изменениям, исправления ошибок



Улучшения

• Добавлены новые парсеры:
  • Rank::Ahrefs::BrokenLinks - сбор кол-ва и списка (топ10) битых входящих и исходящих ссылок
  • Rank::Ahrefs::TrafficChecker - оценка трафика, сбор истории трафика и списков ключевых слов, страниц и стран с наибольшим трафиком
    
  • SE::Quora - парсинг поисковой выдачи Quora по ключевому слову с возможностью выбирать тип и время результата
• Обновлен список регионов в парсерах Яндекс, убраны регионы, на которых поиск больше невозможен. В частности из-за того, что по-умолчанию был выбран регион Россия, парсер работал очень плохо, почти постоянно получая каптчи, т.к. данный регион больше не доступен для выбора в Яндексе. Также оптимизирован поиск региона при выборе в combobox.
• Улучшена обработка Node-модулей (в некоторых случаях использовалась неверная версия)
  
• JS парсеры: this.logger.put и this.logger.debug форматируют вывод аналогично console.log, благодаря чему теперь выводить объекты можно без использования JSON.stringify

Исправления в связи с изменениями в выдаче

• Исправлен парсинг PAA в SE::Google
• В SE::Google::Cache исправлена ошибка, из-за которой отсутствовали результаты по некоторым запросам
• Исправлен GooglePlay::Apps, изменен набор собираемых данных
• Исправлена работа Net::Whois с доменной зоной .fr
• В SE::Yandex::SQI убраны переменные $user_choice и $popular, т.к. эти данные больше не отдаются
• Check::RosKomNadzor, Shop::Wildberries:: ProductsList, Shop::Wildberries:: ProductInfo, Rank::Ahrefs, Rank::Ahrefs::KeywordDifficulty, SE::Google::Images, Rank::MajesticSEO

Исправления

• В SE::Yandex исправлена ошибка с определением бана на мобильной верстке
• В SE::Google::Translate теперь headless включен по-умолчанию
• Исправлена проблема с русскоязычными именами файлов в функции "Запустить по завершению"

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

Видео урок: Ищем продвигаемые ссылки в отчётах Xrumer c помощью парсера Check::BackLink

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показано, как искать продвигаемые ссылки в отчётах Xrumer c помощью парсера Check::BackLink

Плейлист со всеми видео уроками от DIM STUDIO

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

1.2.1794 - поддержка Cloudflare Turnstile, множество исправлений во встроенных парсерах



Улучшения

• Добавлен парсер для разгадывания каптч Cloudflare Util::Turnstile
• В парсеры Util::ReCaptcha2, Util::ReCaptcha3, Util::hCaptcha добавлена поддержка сервиса captchas.io
• В Rank::CMS добавлена возможность выводить $response
• В Cloudflare::Radar добавлена возможность выводить raw data

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчами в парсерах Яндекс
• Исправлена работа SE::Google::TrustCheck для мобильной выдачи
• Исправлена работа с каптчами в парсерах Ahrefs
• Исправлен парсинг сниппетов в SE::Seznam
• Исправлен парсинг related keywords в SE::Baidu и SE::Bing
• Исправлен парсинг totalcount в SE::Yahoo
• Исправлена работа Check::RosKomNadzor при выборе одного из доменов
• SE::Google, SE::Yandex, SE::Google::Images, SE::Google::ByImage, SE::Bing::Translator, Cloudflare::Radar, Shop::Amazon, Shop::eBay, SE-Dogpile::Images

Исправления

• Исправлена работа SE::Yandex::ByImage с запросами, содержащими символы кириллицы

Обновление пресетов в Каталоге примеров A-Parser

Парсинг Авито
Парсер площадки объявлении Авито.

• Исправлена работа в связи с изменениями на источнике

Парсер prom.ua
Парсер маркетплейса prom.ua. Позволяет собирать данные из объявлений, включая имена продавцов и номера телефонов.

• Исправлен проход по пагинации и сбор данных со страниц объявлений

Парсер отзывов Wildberries Reviews
Парсер отзывов Wildberries Reviews. Сбор отзывов по товарам с wildberries.ru в csv таблицу

• Исправлена работа парсера

Парсинг ресурса Booking.com
Парсинг ресурса Booking.com, получение результатов поиска квартир и отелей на сайте.

• Поправлены регулярные выражения
• Добавлена возможность задавать нужную валюту

Универсальный чекер апдейтов(текста, цен и т.п.) на страницах с уведомлением в Telegram
Парсер, который позволяет проверять изменения на разных страницах и получать уведомления в Telegram

• Парсер переписан на JS APIv2
• Добавлена возможность проверять значения в заголовках

Парсинг объявлений из olx.ua/olx.pl
Парсер международной площадки объявлений OLX. Позволяет собирать данные из объявлений, включая цены, имена авторов, телефоны, адреса и т.д.

• Реализована автономность в работе с доменными зонами
• Адаптация к изменениям на источнике (включая восстановление возможности сбора телефонов)

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Кейсы с использованием A-Parser от Ant-Team.ru

Представляем вашему вниманию несколько кейсов от Ant-Team.ru в которых был использован A-Parser.

Что влияет на позиции сайта в Google? Кейс по работе с PBN: растем в 3 раза по трафику и на 345% по позициям



Статья посвящена опыту продвижения сайта в поисковой системе Google работая с PBN (Private Blog Network). В статье представлена детальная инструкция, рассмотрены трудозатраты и показаны скриншоты по позициям и трафику. Также пошагово описан подход к работе со ссылками, показано как собиралась сетка PBN и какие результаты это принесло.

Понятно, что они пишут в большей степени клиентские кейсы, где технической стороне уделяется не так много внимания. Но всё, что они сделали, основано на А-Парсере. Все дропы, которые они собирают, проверяют и агрегируют у себя в базе для последующей обработки, они получают с помощью нашего парсера.

Рекомендуем ознакомиться со статьей и понять, каких результатов можно достичь, используя A-Parser.


ТОП-10 в Google за 35 дней: опыт работы с PBN и подклейкой доменов



Еще один интересный кейс, но уже не по аукционникам, а по реальным дропам, которые можно найти с помощью A-Parser.

Здесь описывается опыт работы с PBN и приводятся советы по использованию этого инструмента для создания качественных обратных ссылок на сайт. Также рассказывается о том, как автор использовал подклейку доменов для улучшения авторитета своего сайта и приводятся советы по выбору подходящих доменов. Кроме того приведены примеры использования A-Parser для автоматизации поиска доменов. А-Parser собирает все внешние ссылки с указанного домена и используется для массовой проверки доступности доменов и получения информации о них.

В статье, как обычно, минимум технической информации, но они активно отвечают на вопросы в комментариях. Если интересно, то спрашивайте, как искать подобные дропы и что для этого нужно. А зачем вообще это делать? Ответ очевиден: взять топ Гугла за 35 дней способен не каждый.

Если вы занимаетесь продвижением сайтов и хотите узнать больше о PBN и подклейке доменов, мы рекомендуем вам прочитать данную статью.

Курс по PBN от Ant-Team.ru



Ребята из Ant-Team.ru запустили курс по PBN

Курс полностью основан на A-Parser и разбит на две части: проф. и стандартная.

В профессиональной версии все процессы парсинга полностью автоматизированы и не требуют каких-либо доработок, вплоть до дашбордов с дропами и статистикой по ним.

В стандартной версии Ant-Team научат вас настраивать A-Parser и парсить дропы в ручном режиме.

Набор на курс продлится до 30 марта, но начать обучение можно уже сегодня.

Программа и регистрация по ссылке: https://pbn-course.ru/

1.2.1848 - 2 новых парсера, множество улучшений и исправлений во встроенных парсерах



Улучшения

• Добавлены новые парсеры:
  • SE::YouTube::Video - позволяет парсить данные о видео на Youtube (включая субтитры)
  • Rank::BingAnalytics - парсер данных из аналитики Bing в боковой панели Edge
• В связи с неактуальностью удалены следующие парсеры: Rank::Alexa, Rank::Alexa::API, SE::MailRu, SE::MailRu::Position
  
• Исправлен парсинг вопросов-ответов (PAA) в SE::Google
• Улучшена обработка 404-го кода ответа в Rank::KeysSo
• В Rank::Ahrefs::KeywordDifficulty в переменные добавлен shortage
  
• В Util::Turnstile добавлен провайдер CapSolver
• Во всех парсерах Ahrefs добавлена опция Turnstile pass proxy, подробнее здесь
  
• В парсерах Bukvarix добавлена возможность использовать свой API ключ, дополнительная информация здесь
  
• В Maps::Google добавлена возможность получать ссылку на &quot;Я владелец компании&quot;
  
• В SE::Google::KeywordPlanner добавлена возможность парсить тренды поисковых объёмов, дополнительная информация здесь
  
• Обновлен список языков в DeepL::Translator
• В Social::Instagram::Profile добавлена возможность парсить с авторизацией
• Улучшено определение наличия кеша в SE::Google::Cache
  
• В Net::Whois добавлен новый метод обработки результатов для некоторых доменных зон
• Продолжается миграция встроенных парсеров на JS APIv2, в этом релизе переписано 10 парсеров

Исправления в связи с изменениями в выдаче

• Исправлена работа SE::Yandex::Register через Chrome, дополнительная информация здесь
• В SE::Google не собирались результаты при типе News, также исправлено получение $totalcount при отсутствии результатов
• Исправлена работа SE::Yandex::Position при выборе Search sites from (rstr=)
• В Shop::Yandex::Market исправлен парсинг цен
• Исправлены и адаптирован к изменениям на источниках: SE::Google, SE::Yandex::SQI, Rank::KeysSo, Cloudflare::Radar, SE::Quora, SE::Yandex::Translate, Shop::AliExpress, SE::Startpage, Rank::Ahrefs

Исправления

• Исправлено зависание задания во время повторного запуска
  
• Исправлена ошибка с отправкой сообщения о неверно разгаданной каптчи в Util::AntiGate
• В CoinMarketCap::LastPrice был пустой $data
• Rank::Ahrefs::KeywordGenerator не переходил к решению каптчи при определенном формате результата
  
• Исправлена ошибка в SE::Yandex:: Direct::Frequency, из-за которой при использовании аккаунтов все запросы были неудачные
• Исправлен SEO::Ping
• Исправлено декодирование сущностей в Rank::MOZ
• JS парсеры: исправлен this.utils.urlFromHTML(), не все сущности корректно декодировались

Артур Корсаков запускает мастер-группу по Техническому SEO

Курс состоит из 3х частей:

• Блок 1
  • Технический аудит сайта,
  • Исследование кода Яндекса,
  • Скрытие ссылок от различных сервисов,
  • Клоакинг для серых ниш.
• Блок 2
  • Парсинг структуры конкурентов,
  • Работа с Chat GPT,
  • Работа с релевантностью.
• Блок 3
  • Настройка программы A-Parser,
  • Создание собственных пресетов,
  • Парсинг тематических дропов с ссылками из Википедии,
  • Работа с ссылочным профилем.

Тем, кто присоединится до пятницы, 31 марта (включительно), получат доступ до июля к эксклюзивной бета-версии закрытого инструмента ГАР (Гибридный анализ релевантности).

В которую уже входят следующие функции:

• Анализ на основе формулы SWBM25 (хитрый BM25 в скользящем окне),
• Рекомендации по микроразметке,
• Семантические Коконы.

Старт планируется 3 апреля!

Подробности по ссылке:
https://vk.com/@-213214163-master-gr...skomu-seo-2023

Чтобы присоединиться нужно написать лично Артуру по любому из контактов:
https://artur2k.ru/about/

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг поиска ВК
Сбор результатов поиска в социальной сети Вконтакте.

• Добавлен Check content
• Адаптация к изменениям на источнике

Получение списка пользователей, которые поставили у заданного объекта отметку «Нравится» в VK
Парсер для парсинга списка пользователей, которые лайкнули пост во Вконтакте.

• Переделан в JS парсер
• Адаптация к изменениям на источнике
• Поддержка фото и видео
• Поддержка API: вместо куки remixstid теперь следует использовать ваш ключ доступа (access_token)
• Мелкие правки

Подсказки pornhub
Парсер подсказок сайта для взрослых pornhub.com

• Переделан в JS парсер
• Адаптация к изменениям на источнике

Парсер Яндекс Кью
Парсер для сервиса Яндекс Кью, позволяющий собрать списки вопросов и ответов к ним

• Добавлен парсинг страницы ответов
• Адаптация к изменениям на источнике
• Рефакторинг

JS::Chrome::ScreenshotsMaker
Парсер для создания скриншотов сайтов с использованием puppeteer(Chrome)

• Поддержка pdf формата (возможность сохранять страницы в PDF)

Фильтрация по множеству признаков
Пример фильтрации страниц по большому количеству признаков

• Парсер переписан на JS APIv2
• Исправлен баг с дублированием сигнатур

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Сборник рецептов #54: Google Shopping, Циан и парсер новостей с автоматическим переводом

54-й сборник рецептов, в котором представлены парсер Google Shopping, парсер базы недвижимости Циан и парсер новостей с автоматическим переводом контента на указанный язык.

Google Products
Парсер товаров по ключевым словам из выдачи Google Shopping


Парсер Циан
Парсер результатов поиска (с возможностью задать любые фильтры) на cian.ru


Парсер новостей inshorts.com с переводом контента
Парсер новостей inshorts.com с переводом контента через переводчик Deepl


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

1.2.1886 - обновление компонентов, новые возможности в работе с аккаунтами Яндекса, фиксы парсеров



Улучшения

• Обновление NodeJS до 18.15, Puppeteer до версии 19.11.0 и Chrome до 112-й версии
• Добавлен обход CloudFlare в Net::HTTP при Engine = Chrome
  
• Добавлены новые возможности в работе с аккаунтами Яндекса:
  • SE::Yandex::Register теперь сохраняет использованный прокси и ответ на секретный вопрос
    
  • SE::Yandex::WordStat использует для логина сохраненный прокси и умеет при необходимости отвечать на секретный вопрос
• В SE::Yandex добавлена возможность указывать id региона в обход существующего списка
  
• Улучшена работа Net:NS, добавлена совместимость с некоторыми серверами
  
• Улучшен парсинг анкоров беклинков в Rank::Ahrefs

Исправления в связи с изменениями в выдаче

• SE::Google - адаптация к изменениям в верстке
• Исправлена работа с каптчами в SE::Yandex и SE::Yandex::WordStat
• Исправлена работа Shop::Yandex::Market при запросах в виде ссылки
• Исправлен парсинг фото в Shop::Wildberries::ProductInfo
  
• Исправлена ошибка при обработке каптчи в SE::Yandex::ByImage
  
• SE::Yandex, SE::Bing, SE::Seznam, SE::Baidu, SE::Google::Images, Rank::KeysSo, Rank::MajesticSEO, Rank::Ahrefs::KeywordDifficulty, Maps::Yandex, Shop::Wildberries::ProductInfo, SE::Yandex::ByImage

Исправления

• Исправлено использование переменных из Конструктора запросов в Начальном тексте
• Исправлена работа Net::Whois с доменами зоны .it, а также исправлено определение незарегистрированных доменов
  
• В SE::Yandex::WordStat исправлена ошибка, из-за которой парсер повторно не авторизовался

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг данных о Youtube канале
Парсер собирающий информацию со страницы о канале, кроме email который виден после авторизации. Так же собирает email из описания канала.

• Добавлено: парсинг ника канала, который начинается на @, кол-во видео

Парсер Google Places
Получение результатов поиска на Google Places

• Переписан на TypeScript
• Адаптация к изменениям на источнике

Парсинг Авито
Парсинг объявлений на avito.ru

• Запрос для получения номера теперь отправляется только в том случае, если в формате результата задан вывод номера

Анализ ключевых слов на seranking.com
Парсер для анализа ключевых слов с помощью сервиса seranking.com

• Переписан на TypeScript
• Добавлена поддержка разгадывания капчи - опция Util::ReCaptcha2 preset. Разгадывание капчи теперь обязательно
• Добавлена опция Currency с значением по умолчанию EUR
• Полностью переработаны собираемые результаты, они немного отличаются от предыдущих и их стало больше

Парсинг пользователей из группы ВК
Парсинг всех пользователей из любой группы Вконтакте через API

• Адаптация к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!