Python [Udemy] [Anna Kuzina] Парсинг сайтов. Scrapy, Splash, Selenium, requests, bs4. (2021)

[Алан-э-Дейл]

Автор: Udemy
Название: [Anna Kuzina] Парсинг сайтов. Scrapy, Splash, Selenium, requests, bs4. (2021)

Описание:
Этот курс предназначен для тех, кто хочет научиться автоматизированному сбору информации с различных сайтов, то есть парсингу. Для прохождения курса требуются базовые знания питона.

На лекциях будут рассмотрены основные подходы к сбору данных с использованием таких библиотек, как requests, beautifulsoup4 и splash, а также фреймворков Scrapy и Selenium.

В этом курсе рассматриваются основные базовые подходы к сбору данных, а также затрагивается вопрос этичного парсинга. По итогам курса студенты будут иметь базовое представление о том, как парсить различные сайты, используя Python.

Этот курс будет не очень интересен тем, кто уже имеет базовое представление о том, что такое парсинг и как создавать скрипты для автоматизированного сбора данных.

После прохождения курса студенты будут знать:

• Как найти и установить необходимые библиотеки для парсинга данных.
• Что такое этичный парсинг, как не нарушить права и закон при парсинге данных.
• Для чего нужен файл robots.txt.
• Каким образом получать HTML сайта для извлечения необходимой информации.
• Как пользоваться xpath для указания точного расположения элементов на странице.
• Как переходить по страницам на многостраничном сайте.
• Как создавать проект и запускать «пауков» Scrapy.
• Как парсить всю информацию о каждом товаре на сайте.
• Как осуществлять переход на страницу каждого товара.
• Каким образом парсить сайты, использующие JavaScript при загрузке.
• Как авторизовываться на сайте, используя фреймворк Selenium.
• Как парсить сайты с бесконечной прокруткой, имитируя действия пользователя на странице.

Подробнее:

Скачать:

 

[minus4_5]

1. Качество звука и видео - нормально.
2. У курса нету никаких преимуществ. Проще с ютюба на те же темы посмотреть.
3. Она ничего не объясняет. Просто "я пищу, а вы повторяйте за мной". Банальный пример: для bs4 есть парсер lxml, который быстрее встроенного, а про заголовки запроса (header) вообще не слова, а по нему, большинство парсеров и блокируют.

Общий вывод: не трате свое время

 

[Полина Сафронова]

Не для новичков. Объясняет понятно, но есть сложные момент которые самому никак не разобрать, а она почему то их опустила.

 

[Авгур]

Не для новичков. Объясняет понятно, но есть сложные момент которые самому никак не разобрать, а она почему то их опустила.

Что за моменты? можете привести пример?

 

[Полина Сафронова]

Что за моменты? можете привести пример?

Лично для меня оказался сложный третий урок "Парсинг сайтов с помощью Scrapy" . Увы, одной минуты 39 секунд маловато чтобы понять как его установить и начать с ним работать. Так же нет уже готового кода, что было бы очень кстати.