Python [P-Notes] Практический курс парсинга сайтов на Python

[Роджерc]

Автор: P-Notes
Название: Практический курс парсинга сайтов на Python

Описание:

Максимальное приближение к задачам реального парсинга
Отработка на 13 парсерах разной сложности

14 Видео:
Как анализировать верстку и запросы к сайтам разной сложности. Как писать парсеры

13 Парсеров:
Для сайтов разной сложности, которые вы напишете по мере прохождения курса

Программа курса

То, что нужно начинающему питонисту для начала профессиональной деятельности

• Основы BeautifulSoup
• Парсинг табличных данных
• Работа с пагинацией (2 вида)
• Чтение и запись данных в CSV
• Запись данных в PostgreSQL
• Продвинутые методы работы с BeautifulSoup
• Парсинг данных, подгружаемых при помощи AJAX (2 видео)
• Парсинг в несколько процессов
• Использование прокси
• Парсинг данных, подгружаемых JQuery
• Смена User-Agent

Все делается при помощи библиотек Requests и Beautiful Soup 4, Lxml. Даже парсинг данных, подгружаемых AJAX и JQuery.

Здесь НЕ используются Selenium, Grab, Scrapy и другие средства.

Подробнее:

Скачать:

 

[crazyworm]

Неплохой курс для знакомства с парсингом на Python.
Пройдя курс, можно будет работать с какими-то не сложными задачами. Если вы только начинаете знакомство с парсингом на Python, курс 100% для вас. Разбираются основы работы с requests, в том числе подкладывание заголовков и использование прокси. Есть пример работы в многопоточном режиме. Разбираются примеры работы BeautifulSoup4, примеры записи в CSV и в базу PostgreSQL.

Так как курс не новый, некоторые сайты из примеров уже имеют другую структуру. Но это я отношу к плюсам, а не к минусам - нужно будет проявить смекалку и потренироваться в самостоятельном анализе сайтов-доноров.

Качество видео хорошее, аудио тоже. Лектор не надоедает, по-крайней мере на скорости x2 смотреть вполне себе.

 

[SlylySly]

Нашел решение моей задачи в этом курсе!
Большое спасибо автору, всем рекомендую, даже с 0 всё поймёте и закроете большую часть своих потребностей

 

[007alex3]

Добрый день.
Скажите, пожалуйста, курс полный?

 

[Rw28]

Добрый день.
Скажите, пожалуйста, курс полный?

В раздаче вроде все 14 видео как и обещано ...

 

[Kronosss]

Это не курс Молчанова случайно ?

 

[Morph1]

Это не курс Молчанова случайно ?

Олег Молчанов автор

 

[CBeTo4]

Неплохой курс для знакомства с парсингом на Python.
Пройдя курс, можно будет работать с какими-то не сложными задачами. Если вы только начинаете знакомство с парсингом на Python, курс 100% для вас.....

красавчик!! Обожаю твои рецензии, очень полезно и здорово, когда есть люди, которые адекватно и аргументированно поделятся впечатлениями о каком то продукте, а то потеряться и утонуть в недрах информационного шлака - на раз-два...
побольше бы таких людей. обнял

 

[crazyworm]

красавчик!! Обожаю твои рецензии, очень полезно и здорово, когда есть люди, которые адекватно и аргументированно поделятся впечатлениями о каком то продукте, а то потеряться и утонуть в недрах информационного шлака - на раз-два...
побольше бы таких людей. обнял

Привет! Спасибо большое за оценку :)
P.S.
Придеться еще чего-нить скачать и посмотреть )))

 

[CBeTo4]

Привет! Спасибо большое за оценку :)
P.S.
Придеться еще чего-нить скачать и посмотреть )))

:D
ахаха))

Дай знать как появится новый твой обзор на какой то продукт)
ты шаришь в питоне и вообще программирование?

 

[crazyworm]

:D
ахаха))

Дай знать как появится новый твой обзор на какой то продукт)
ты шаришь в питоне и вообще программирование?

18 лет назад диплом программиста получил. Правда далеко не все время в кодинге. Было невероятное желание похоронить пару-тройку своих бизнесов, вот... выполнил, теперь могу и дальше программировать.

 

[CBeTo4]

18 лет назад диплом программиста получил. Правда далеко не все время в кодинге. Было невероятное желание похоронить пару-тройку своих бизнесов, вот... выполнил, теперь могу и дальше программировать.

Необычное желание... я бы сказал специфическое))
Подскажешь что имеет смысл изучить стоящего на рынке курсов, например представленного здесь или еще где?
В программирование - вообще пока нулевый, задачи которые хочу уметь решать:
1. Писать парсеры на магазины (амазон, вайлдберис, авито)
2. Писать анализатор полученных данных
3. Писать постер объявлений (авито, ютуб, вк, инст)

На сколько такому, на твой взгляд, легко и относительно быстро научиться с нуля? что из языков наиболее доступно новичку? питон? пшп?
Может быть получится порекомендовать кого из авторов кто без воды, структурировано и доступным языком объясняет и учит кодить это?

 

[crazyworm]

Необычное желание... я бы сказал специфическое))
Подскажешь что имеет смысл изучить стоящего на рынке курсов, например представленного здесь или еще где?
В программирование - вообще пока нулевый, задачи которые хочу уметь решать:
1. Писать парсеры на магазины (амазон, вайлдберис, авито)
2. Писать анализатор полученных данных
3. Писать постер объявлений (авито, ютуб, вк, инст)

На сколько такому, на твой взгляд, легко и относительно быстро научиться с нуля? что из языков наиболее доступно новичку? питон? пшп?
Может быть получится порекомендовать кого из авторов кто без воды, структурировано и доступным языком объясняет и учит кодить это?

Мы ровно в той теме, в которой и следует быть. Пайтон очень прост в освоении. А курсы Олега Молчанова крайне полезные и доступные для освоения. По поводу других курсов, подумаю позже напишу. Был тут еще курс про алгоритмы и структуры данных на Пайтоне, тоже очень неплохой курс.

 

[CBeTo4]

Мы ровно в той теме, в которой и следует быть. Пайтон очень прост в освоении. А курсы Олега Молчанова крайне полезные и доступные для освоения. По поводу других курсов, подумаю позже напишу. Был тут еще курс про алгоритмы и структуры данных на Пайтоне, тоже очень неплохой курс.

Благодарю, друг!
Не вспомнил название этого курса про алгоритмы и структуру?

 

[Alessa3]

Для новичков конечно пойдет. Но с некоторыми оговорками.
Программист из автора очень средненький и код у него местами выходит "индусский"

Урок 4. Pagination: каждая страница для парсинга скачивается дважды и дважды преобразуется в soup. За такое полагается отрывать руки. Тру-программист просто не может написать такой код - это бросается в глаза и вызывает невыносимый зуд исправить. Тем более что исправления займут пару строк. А автор даже не замечает что что-то не так

Аналогично - работа с файлами. Открывать файл 1511 раз чтобы записывать в него по одной строке - это за гранью добра и зла

Автор не знает что делать, если в ответе сервера есть специальные символы вида " %20 и т.п.
Это фиаско, братан. Просто импортируй urllib и почитай описание - там есть все необходимые функции.

Совершенно не раскрыта тема парсинга ресурсов где требуется авторизация. Wordstat от яндекса в рамках курса не спарсить

 

[dimatereshkin93]

Для новичков конечно пойдет. Но с некоторыми оговорками.
Программист из автора очень средненький и код у него местами выходит "индусский"

Урок 4. Pagination: каждая страница для парсинга скачивается дважды и дважды преобразуется в soup. За такое полагается отрывать руки. Тру-программист просто не может написать такой код - это бросается в глаза и вызывает невыносимый зуд исправить. Тем более что исправления займут пару строк. А автор даже не замечает что что-то не так

Аналогично - работа с файлами. Открывать файл 1511 раз чтобы записывать в него по одной строке - это за гранью добра и зла

Автор не знает что делать, если в ответе сервера есть специальные символы вида " %20 и т.п.
Это фиаско, братан. Просто импортируй urllib и почитай описание - там есть все необходимые функции.

Совершенно не раскрыта тема парсинга ресурсов где требуется авторизация. Wordstat от яндекса в рамках курса не спарсить

А кого и какой курс тогда порекомендуете для новичка?

 

[Alessa3]

А кого и какой курс тогда порекомендуете для новичка?

А какая у новичка цель?

 

[dimatereshkin93]

А какая у новичка цель?

Скажу сразу. Для искушённых знатоков и не только идея, возможно, бредовая.
Появилась после того, как Батя восстановил здоровье при помощи продукции одной компании. Понимаю, что эта продукция практически нужна всем людям. И животным тоже :). Дома спасли пекинеса от чумки. А у соседей на улице подохли тогда собаки. Прелюдию можно долго продолжать, так как результатов восстановления здоровья, в том числе и от многолетних хронических, и от рака, от короны, восстановления подвижности суставов и т.д. великое множество, как в нашей семье, так и среди знакомых.
Компания распространяет продукцию методом млм, то есть используя многоуровневую реферальную программу, при выполнении некоторых условий, оплата происходит практически до бесконечности уровней. То есть на этом можно не только хорошо заработать на продажах (наценка на товар составляет от 25 до 100 % - зависит от товарооборота в месяц), но и создать пассивный доход, который можно передавать по наследству. Работать можно, как на территории СНГ, так и в буржунете.
Вот и кумекаю, как мне тоже вписаться в эту тему, чтобы выйти на хороший доход, который многим и не снился.
Думаю спарсить сайт партнёра компании, чтобы подредактировать под себя и далее продвигать сайт для продаж, так как появляются быстрые деньги, и поиск единомышленников-партнёров в команду для взаимовыгодного создания пассивного дохода, который будет формироваться, даже если у тебя нет интернета.
Вот такая у новичка цель.
П.С. Понимаю, что бред, утопия, но ... Сколько "бредовых" идей в мире, которые стали в последствии очевидными и нужными, взять тот же биткоин, когда за пиццу заплатили 1200 битков. Зато сейчас сколько биткоин стоит?
Приветствуется конструктивная критика и рекомендации, так как эту тему только начинаю осваивать.

 

[Alessa3]

Думаю спарсить сайт партнёра компании, чтобы подредактировать под себя и далее продвигать сайт для продаж

Спарсить - вам в принципе любой курс подойдет.
Насчет заработать на таком сайте - это в другой раздел, к сеошникам и арбитражникам

 

[dimatereshkin93]

Спарсить - вам в принципе любой курс подойдет.
Насчет заработать на таком сайте - это в другой раздел, к сеошникам и арбитражникам

Благодарю!

 

[Achtung]

Думаю спарсить сайт партнёра компании, чтобы подредактировать под себя и далее продвигать сайт для продаж, так как появляются быстрые деньги, и поиск единомышленников-партнёров в команду для взаимовыгодного создания пассивного дохода, который будет формироваться, даже если у тебя нет интернета.
Вот такая у новичка цель.

Партнерский маркетинг работал, работает и будет работать. Идея норм и для этого не обязательно парсить и долго изучать программирование, хотя тоже пригодится для общего развития. Можно использовать площадки, где есть уже публика: Авито, Юла, тематические форумы, контекстная реклама и пр.. Заодно спрос можно протестировать, условно бесплатно, и делать акцент уже на самый маржинальный продукт.

 

[shatrov]

Для 2024 информация в курсе все еще актуальна или устарела?