Парсинг сайтов любых объёмов
Здравствуйте. Я программист с десятилетним опытом разработки программ. Моя область экспертизы - парсинг сайтов и обработка данных. Я успешно завершил более 300 проектов парсинга сайтов.
Мой опыт:
* Парсинг больших сайтов, содержащих миллионы страниц
* Использование прокси для обхода защиты сайтов от парсинга
* Парсинг сайтов, защищённых каптчей
* Парсинг динамических-сайтов, работающих на javascript (AJAX)
* Извлечение данных из открытых API веб-сервисов
* Обработка данных в XML, JSON, CSV документах
* Хранение и обработка данных в Redis, MongoDB, MySQL и Postgresql базах данных
* Построение веб-интерфейсов для управления парсерами сайтов
* Построение сложных систем обработки данных из множества источников
* Успешно завершил более 300 проектов парсинга сайтов.
Примеры выполненных проектов: getdata.pro/ru/project
Я автор открытого python фреймворка парсинга сайтов github.com/lorien/grab. Я использую этот фреймворк в большинство моих проектов парсинга сайтов
.
Я буду рад поработать в интересном проекте, связанном с парсингом сайтов и обработкой данных. Вы можете связаться со мной через email или skype и мы подробно обсудим ваш проект, я назову цену и время, необходимое для сбора данных.
Мои контакты:
* email: support @ getdata.pro
* skype: skype: lorien.name