A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, email, телефоны, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 70 парсеров

На сегодняшний день A-Parser развился в невероятный SEO комбаин, позволяющий покрыть огромное число задач для SEO-специалистов и вебмастеров любого уровня подготовки:

• Используйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
• Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
• Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
• Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
• Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера

Кроме этого мы предоставляем услуги по составлению заданий и написанию парсеров под ваши задачи, в кратчайшие сроки и по демократичной цене. Хотите спарсить целиком интернет магазин(Ozon, Amazon, AliExpress)? Проверить 100 миллионов сайтов по вашим признакам? Получить данные с любого сайта в структурированном виде(CSV, JSON, XML, SQL)? В решении этих задач поможет наша дополнительная платная поддержка

A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

• SEO-оптимизация сайтов и Web-аналитика
  • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
  • Оценка сайтов и доменов по множеству параметров
  • Мониторинг позиции любых сайтов в поисковых системах
  • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
  • Отслеживание обратных ссылок
  • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
  • Сбор и оценка ключевых слов
  • Сбор списка обратных ссылок
  • И многое другое
• Web-безопасность
  • Сбор и фильтрация баз ссылок по признакам
  • Определение CMS сайтов
  • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
• Сетевое администрирование
  • Работа с DNS службой - резолвинг доменов в IP адреса
  • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

A-Parser обладает следующими преимуществами:

• Колоссальная производительность
  • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
  • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
  • Множественные оптимизации сложных операций
  • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
• Промышленные масштабы
  • Парсер разрабатывался с учетом работы с неограниченным размером данных
  • Способен обрабатывать сотни миллионов и миллиардов запросов
  • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
• Автономность
  • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
  • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
  • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
• Поддержка более 70 парсеров
• Создание собственных пресетов
  • Использование регулярных выражений
  • Поддержка XPath
  • Поддержка многостраничного парсинга
  • Проверка контента и наличия следующей страницы
• Создание собственных парсеров
  • Быстрая разработка на JavaScript
  • Многопоточность и работу с прокси обеспечивает A-Parser
• Распознавание каптчи
  • Поддержка множества сервисов: антигейт, cheap-captcha.com, rucaptcha.com и любых других на основе AntiGate API
  • Поддержка CapMonster и XEvil
• Мощные инструменты для формирования запросов и результатов
  • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
  • Подстановки для запросов: из файла; перебор слов, символов и цифр
  • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
  • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
  • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)
• Гибкость настроек
  • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
  • Настроить можно все - никаких рамок и ограничений
  • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
• Сетевые возможности
  • Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
  • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
  • Полностью асинхронная работа с сетью, включая работу с DNS
• API
  • Возможность интегрировать и управлять парсером из своих программ и скриптов
  • Полная автоматизация бизнес-процессов
  • Клиенты для PHP, Perl, Python и NodeJS
• Постоянные улучшения и исправления
  • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
  • С тех пор было выпущено более 100 новых версий, включающих множество улучшений и исправлений
  • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
• Техническая поддержка
  • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
  • Создана подробная документация по A-Parser'у, открыт форум для пользователей
  • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
  • Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

Более подробно ознакомится с возможностями парсера можно в полноценной документации

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:



Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.
Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

1.1.726 - новые возможности планировщика, множество исправлений



Улучшения

• В планировщик добавлена возможность ежемесячного запуска заданий, с возможностью выбрать определенный день месяца
• В планировщике теперь можно указать уникальность задания, если задание активно в очереди то при попытке его запуска через планировщик оно будет отложено до следующего запуска
• Файл логов задания теперь удаляется одновременно с удалением задания
• В тестовом парсинге улучшен дебагер и предпросмотр HTML кода

Исправления в связи с изменениями в выдачи

• SE::YouTube, Rank:MOZ, Rank::Mustat, SE:ogpile, SE::Ask, SE::AOL

Исправления

• В парсере Net::Whois исправлен парсинг дат для множества доменных зон
• Функция добавления ! перед каждым словом(для снятия частотности по WordStat) в некоторых случаях работала некорректно
• Исправлена ошибка при работе прокси с использованием только одной попытки(Request retries)
• Исправлена ошибка при которой парсер падал при неверно составленном Конструкторе результатов
• В некоторых случаях использование XPath могло приводить к зависанию парсера
• В парсере SEO::Ping исправлена обработка ответов для некоторых сервисов
• В некоторых случаях ошибка задания могла отображаться некорректно

Так же, мы хотели бы ещё раз поздравить наших победителей которые получили лицензии A-Parser'a: Сергея Чернова, Романа Лисина и Илью Нечаева. Поздравляем вас ещё раз!

[VIDEO]https://www.youtube.com/watch?v=a9scpRcC4q8[/VIDEO]

В этом видео вы узнаете как собрать тысячи и миллионы профилей в социальной сети ВКонтакте:

[VIDEO]https://www.youtube.com/watch?v=GPcztcdNNmQ[/VIDEO]


В уроке рассмотрены:

• Создание парсера профилей соцсети ВКонтакте: имя, город, телефон, семейной положение, время последнего захода и ссылку на аватар(фотографию)
• Использование регулярных выражений для фильтрации данных результата
• Использование конструктора результатов для модификации результатов
• Использование Cookies в запросах

Подписывайтесь на наш канал, ставьте лайки и оставляйте в комментариях пожелания для следующих уроков!

1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах



В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также добавлены новые примеры: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)

Улучшения

• В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
• В парсере SE::Yahoo теперь определяется бан прокси по IP
• Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога

Исправления в связи с изменениями в выдаче

• SE::Yandex - парсил только первую страницу выдачи
• SE::Google::Trends - использовал все попытки если по ключевому слову не было данных

Исправления

• Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
• В парсере HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)

Исправления в JavaScript парсерах

• Настройки checkbox воспринимались некорректно
• Исправлена ошибка в работе this.cookies.setAll
• В интерфейсе не отображались измененные параметры конфига
• Исправлены утечки памяти
• Исправлено игнорирование параметра success
• Исправлено поведение при использовании Override настроек
• Исправлена ошибка при получении результатов из другого парсера

1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту

В версии A-Parser 1.1.873 добавлен новый парсер SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи



Улучшения

• Новый парсер SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
• Новый парсер SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
• В парсере Rank::SimilarWeb добавлена поддержка антикаптчи
• В парсере Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
• JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
• В инструменты tools добавлена возможность кодировать и декодировать base64
• Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс

Исправления в связи с изменениями в выдаче

• Rank::SimilarWeb, SE::Google::Images, Rank::MajesticSEO

Исправления

• Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
• Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
• При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
• Исправлена работа tools.js на ОС Linux
• Исправлена утечка памяти при использовании JavaScript парсеров
• Исправлена работа опции Динамический лимит потоков

Новый каталог парсеров и пресетов

Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик



Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:

• Парсинг текстовки по ключу одним заданием
• Парсер Google Translate
• Парсер ключевых слов и бидов из 7search

Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!

1.1.888 - парсер РосКомНадзора и переводчики Google и Яндекса



Улучшения

• Новый парсер Check::RosKomNadzor - проверяет наличие домена или ссылки в реестре запрещенных сайтов, для работы необходим антигейт
• Новый парсер SE::Google::Translate - переводчик текста через сервис Google Translate
• Новый парсер SE::Yandex::Translate - переводчик текста через Яндекс.Переводчик

Исправления в связи с изменениями в выдачи

• Парсер SE:isconnectMe удален в связи с постоянным редиректом на DuckDuckGo, используйте SE:uckDuckGo
• SE::Google::Images, SE::Google, SE::Yandex::Images

Исправления

• В парсере Net::Whois исправлена работа с доменной зоной .fr
• SE::Google - не собирались Related keywords на языках интерфейса отличного от английского
• Исправлен обход защиты CloudFlare на ОС Linux
• Исправлено падение при запуске задания с удаленным конфигом потоков
• Не корректно работало переопределение tools.js в задании, ошибка появилась в предыдущей версии
• В парсере SE::Google::ByImage не выводился Raw data
• В парсер Rank::SimilarWeb не корректно определялся totalvisits
• Не работало изменение названия пресета при импорте

Одно из лучших софверных решений в моем списке.

Софт исключительный согласен, любая практически аналитика, парсинг, чекинг за пару кликов.

Кстати ребят, как разбить им сайты по странам?
Сегоня делаю так вытаскиваю список сайтов и ипы к ним используя A-parser и чекаю сторонним софтом через GeoLiteCity.dat и А-записи. Возможно это можно прикрутить в софт или это уже прикручено и я просто не знаю об этом?

Чекай по языку.
https://a-parser.com/wiki/html-texte...or-langdetect/

Сборник статей #2: цикл статей-уроков по созданию JS парсеров

Как известно, в A-Parser есть возможность создавать свои собственные парсеры, которые могут иметь практически любую логику и в то же время позволяют пользоваться всеми преимуществами А-Парсера. Для написания таких парсеров используется язык JavaScript. В нашей документации подробно описаны все функции и методы, которые можно использовать при написании парсеров. А в сегодняшнем сборнике мы на практических примерах покажем наиболее часто применяемые функции. Поехали!

[*]Получение результатов от стандартного парсера.
В этой статье описано использование функции yield this.parser.request, которая позволяет работать с уже существующими парсерами, получать от них данные и дополнительно обрабатывать их.[*]Парсинг сайта с проходом по страницах.
Здесь показан общий подход к созданию парсера, который будет "ходить" по страницам на сайте и забирать с них некоторую информацию.[*]Парсинг title и description для топ10 сайтов по запросу.
В данном примере показано как написать собственный парсер, который объединит в себе две разных задачи: парсинг топ10 сайтов и парсинг данных из каждого полученного сайта. При этом также будет показана возможность реализации выбора между несколькими поисковиками, что делает такой парсер еще более универсальным.[*]Реализация подстановки запросов и их многопоточной обработки.
Этот пример продемонстрирует, как "на лету" добавлять запросы с помощью tools.query.add, а также, как обрабатывать их в многопоточном режиме.[*]Работа с CAPTCHA.
В этой статье на простом примере будет показан общий подход к работе с сайтами, на которых появляется каптча. Будет пошагово разобран алгоритм и продемонстрирован результат работы.[*]Работа с ReCaptcha2.
А в этом примере по аналогии с обычной каптчей демонстрируется алгоритм работы с рекаптчей, а также вкратце поясняется принцип ее действия.Для каждой статьи в конце будет продемонстрирован результат работы и дана ссылка на готовый парсер.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

• Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы

добавлено через 9 минут
Сборник статей #2: цикл статей-уроков по созданию JS парсеров

Как известно, в A-Parser есть возможность создавать свои собственные парсеры, которые могут иметь практически любую логику и в то же время позволяют пользоваться всеми преимуществами А-Парсера. Для написания таких парсеров используется язык JavaScript. В нашей документации подробно описаны все функции и методы, которые можно использовать при написании парсеров. А в сегодняшнем сборнике мы на практических примерах покажем наиболее часто применяемые функции. Поехали!

[*]Получение результатов от стандартного парсера.
В этой статье описано использование функции yield this.parser.request, которая позволяет работать с уже существующими парсерами, получать от них данные и дополнительно обрабатывать их.[*]Парсинг сайта с проходом по страницах.
Здесь показан общий подход к созданию парсера, который будет "ходить" по страницам на сайте и забирать с них некоторую информацию.[*]Парсинг title и description для топ10 сайтов по запросу.
В данном примере показано как написать собственный парсер, который объединит в себе две разных задачи: парсинг топ10 сайтов и парсинг данных из каждого полученного сайта. При этом также будет показана возможность реализации выбора между несколькими поисковиками, что делает такой парсер еще более универсальным.[*]Реализация подстановки запросов и их многопоточной обработки.
Этот пример продемонстрирует, как "на лету" добавлять запросы с помощью tools.query.add, а также, как обрабатывать их в многопоточном режиме.[*]Работа с CAPTCHA.
В этой статье на простом примере будет показан общий подход к работе с сайтами, на которых появляется каптча. Будет пошагово разобран алгоритм и продемонстрирован результат работы.[*]Работа с ReCaptcha2.
А в этом примере по аналогии с обычной каптчей демонстрируется алгоритм работы с рекаптчей, а также вкратце поясняется принцип ее действия.Для каждой статьи в конце будет продемонстрирован результат работы и дана ссылка на готовый парсер.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

• Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы

1.2.78 - поддержка сессий в JS парсерах, улучшение SE::Google::Modern, правки в интерфейсе



Улучшения

• Добавлена поддержка сессий в JavaScript парсерах
• В SE::Google::Modern добавлена поддержка сессий и улучшена производительность за счет уменьшения частоты появления каптч/рекаптч
• Добавлена переменная $query.prev - показывает запрос, который использовался на предыдущем уровне
• Для JS парсеров добавлен метод this.logger.putHTML, который позволяет вывести в лог HTML код
• В Lite версию добавленSE::Google::Modern и Util::ReCaptcha2
• В x86 версиях добавлено предложение перейти на x64
• Добавлена возможность переименовывания пресетов
• В окне выбора пресета для папок реализована "память на сворачивание"
• Изменены иконки для JS парсеров
• Исправлены ошибки с переводом в интерфейсе
• Исправлено отображение HTML тегов в логах
• Исправлен баг при импорте с вложенным парсером
• Исправлен баг с прокруткой при сохранении JS парсеров и пресетов
• Доработан Конструктор регулярных выражений
• Другие мелкие правки в интерфейсе, направленные на улучшение общей работы

Исправления в связи с изменениями в выдаче

• В SE::Google::Modern исправлен парсинг сниппетов и рекламы, а также мобильной выдачи
• В SE::Google::Suggest исправлен парсинг подсказок, а также добавлена опция Remove HTML tags, позволяющая получать подсказки с или без html тегов
• Исправлен парсинг анкоров и сниппетов в SE :: DuckDuckGo
• SE::Ask, SE :: Dogpile, Rank::Mustat

Исправления

• Исправлен баг с перемещением заданий в очереди
• В SE::Google::Modern исправлен баг с кодировкой
• Исправлена работа параметров Request delay и Extra query string во всех JS парсерах
• Исправлен выбор файлов запросов
• Исправлено отображение иконок для JS парсеров

Видео урок: Создание JS парсеров. Получение результатов от стандартного парсера

Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.

Видеоурок Видеоурок
В уроке рассмотрено:

• Создание кастомного JS парсера
• Использование встроенного парсера внутри JS парсера
• Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию

Полезные ссылки:

• https://learn.javascript.ru/generator
• https://developer.mozilla.org/ru/doc...and_Generators
• https://developer.mozilla.org/ru/doc...perators/yield

Статья и готовый парсер: https://a-parser.com/resources/254/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Видео урок: Создание JS парсеров. Парсинг сайта с проходом по страницах

Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.

Видео Видео
В уроке рассмотрено:

• Создание кастомного JavaScript парсера без использования встроенных парсеров
• Парсинг контента сайта постранично с использованием регулярных выражений
• Реализация прохода по страницам ("пагинации") в JS парсере

Статья и готовый парсер: https://a-parser.com/resources/255/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

1.2.138 - поддержка Node.js модулей, обработка ReCaptcha2 во всех парсерах Google, парсер AliExpress



В A-Parser 1.2.138 добавлена эмуляция node версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

Все это позволило загружать и использовать node модули из каталога npm, в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.
Улучшения

• Добавлена поддержка Node.js модулей в JavaScript парсерах
• SE::Google:: Position, SE::Google::Compromised и SE::Google::TrustCheck полностью переписаны, добавлена поддержка ReCaptcha2
• Улучшена работы SE::Google::Modern в целом
• В SE::Youtube добавлен выбор языка, а также реализована возможность включать/отключать Безопасный режим
• Добавлен Shop::AliExpress
• Улучшена проверка создаваемых переменных в пресетах
• Улучшена работа сессий
• Исправлено отображение имени файла запроса на карточке задания
• Улучшена работа скрола в Тестовом парсинге
• Добавлено удаление переносов из сниппетов в SE::Google::Modern
• Картинка каптчи в парсере SE::Yandex::Register теперь скачивается через прокси
• Множество мелких улучшений в интерфейсе

Исправления в связи с изменениями в выдаче

• Исправлена работа SE::Youtube при переопределении опции Result type
• Исправлен многостраничный парсинг в SE::Bing
• Полностью переписан SE::Yandex::Register, добавлена возможность выводить ответ на секретный вопрос
• Исправлена проверка следующей страницы в SE::Seznam
• Устранена ситуация, когда в SE::Yandex:: Position парсилась неполная ссылка
• Исправлен подсчет неудачных запросов в SE::Google::TrustCheck и SE::Google::Compromised
• SE::Yandex:: Direct, Shop::Yandex::Market

Исправления

• Исправлена работа Конструктора регулярных выражений
• Исправлена работа с кодировками в парсерах переводчиков и JS парсерах
• Исправлена работа SE::Google:: Position
• Исправлен выбор региона в SE::Yandex:: Direct
• Исправлена работа опции Location в SE::Google::Modern
• Исправлена работа сессий в SE::Google::Modern при переопределенном домене
• Исправлена ошибка при совместном использовании опций Перезаписи файла, Начального и Конечного текстов
• Исправлено отображение вкладок в Тесте задания
• Исправлено отображение списка пресетов в поле Запустить по завершению
• Исправлена работа this.proxy.set в JS парсерах
• Исправлена передача дополнительных параметров в JS парсерах
• Исправлена ошибка, из-за которой через API нельзя было указать Начальный и Конечный тексты
• Исправлен экспорт пресетов

Использование Xevil совместно с A-Parser для разгадывания ReCaptcha2



Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных.
В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения.

Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser.

Видео Видео
На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:

• SE::Google::Modern
• SE::Google:: Position
• SE::Google::TrustCheck
• SE::Google::Compromised
• Rank::MegaIndex
• а также любые кастомные JavaScript парсеры

В видео показано:

• подключение Xevil к A-Parser для работы с ReCaptcha2
• проверка работы и демонстрация работы в SE::Google::Modern

Ознакомиться более детально с возможностями XEvil можно по ссылкам:

• https://www.botmasterlabs.net/
• https://xevil.net/ru/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали!

Уведомления в Telegram из A-Parser

Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше.




Фильтрация по множеству признаков

Как известно, для фильтрации в А-Парсере используется встроенный функционал фильтров. Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра.
Начиная с версии 1.2.127 в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше.



Парсинг рекомендаций фильмов из IMDb

Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
• Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
• Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
• Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
• Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК
• Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов
• Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress
• Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов

Сборники статей:

• Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы
• Сборник статей #2: цикл статей-уроков по созданию JS парсеров

1.2.160 - поддержка SQLite, проверка доменов на клей, Parse all results в SE::Yahoo


Улучшения

• Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования здесь
• Добавлена защита от случайного закрытия окна парсера
• В SE::Yahoo добавлены Parse all results и Parse related to level
• SE::Yandex::TIC полностью переписан, добавлена возможность проверять домены на клей
• В Rank::MegaIndex добавлена поддержка ReCaptcha2
• Улучшен парсинг сниппетов в SE:: DuckDuckGo
• Улучшен сбор почт в HTML::EmailExtractor

Исправления в связи с изменениями в выдаче

• Обновлен алгоритм Bypass Cloudflare
• SE::Bing::Translator почти полностью переписан в связи с изменением логики работы переводчика Bing
• Исправлена работа SE::Seznam с некоторыми видами запросов
• Исправлен парсинг related keywords, а также мобильной выдачи в SE::Google::Modern
• Исправлен парсинг related keywords в SE::Bing
• Исправлена работа SE::IxQuick при работе с русскоязычными запросами
• SE::Yandex:: Direct, SE::Google::ByImage, SE::Yandex::WordStat

Исправления

• Исправлена работа SE::Google::Modern на IPv6 прокси
• Исправлена ошибка, из-за которой SE::Google::Modern собирал ссылки с пометкой опасных сайтов в общий массив ссылок
• Исправлена работа с оператором поиска + в SE::Bing
• Исправлен парсинг запросов со спецсимволами в SE:: DuckDuckGo
• Исправлена работа Rank::MajesticSEO
• Исправлен баг с overrideOpts в JS парсерах
• Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
• Исправлена работа tools.js, баг появился в одной из предыдущих версий
• Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий

Видео урок: Создание JS парсеров. Работа с CAPTCHA

Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

Видео Видео
В уроке рассмотрено:

• Создание JS-парсера для разгадывания капчи
• Работа с объектом this.captcha внутри JavaScript кода
• Описание процесса разгадывания каптчи, реализованного в A-Parser

Статья и готовый парсер: https://a-parser.com/resources/257/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Сборник рецептов #22: проверка индексации в нескольких ПС, многоуровневый парсинг и поиск сабдоменов

22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

Получение страниц сайта и проверка индексации в Google и Яндекс
Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.


Парсим title и description для TOP10 поисковой выдачи по ключевому слову
Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.


Поиск сабдоменов сайта
Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется HTML::LinkExtractor и Parse to level для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.


Кроме этого:

• Работа с SQLite из JavaScript парсеров - показаны все базовые возможности нового функционала по работе с SQLite

Еще больше различных рецептов в нашем обновленном Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
• Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
• Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
• Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
• Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК
• Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов
• Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress
• Сборник рецептов #20: автообновление цен в ИМ, анализ текстов и регистрация аккаунтов
• Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

Сборники статей:

• Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы
• Сборник статей #2: цикл статей-уроков по созданию JS парсеров