Понятие веб-скрапинга в Python
Учимся извлекать нужные нам данные из интернета путём скрапинга и парсинга сайтов.
Преподаватель
Николай Свиридов
Бывший инженер лабораторных медицинских систем, ставший разработчиком. Ментор. Блогер. Зажигаю таланты с помощью канала YouTube.com/luchanos
4часа
17видео
39упражнений
4500опыта
Описание курсаСпособность создавать инструменты, способные извлекать и анализировать информацию, хранящуюся в Интернете, была и остается ценной во многих областях науки о данных. В этом курсе вы научитесь ориентироваться и анализировать HTML-код, а также создавать инструменты для автоматического
перехода от страницы к странице, перемещаясь между веб-сайтами.
Хотя наш скрапинг будет проводиться с использованием универсальной библиотеки Python scrapy, многие методы, которые вы изучите в этом курсе, вы сможете применить и к другим популярным библиотекам Python, включая BeautifulSoup и Selenium. По окончании этого курса у вас будет полное понимание модели структуры HTML, вы сможете создавать инструменты для анализа html-кода и доступа к нужной информации, а также создавать простые Scrapy Spiders для масштабного сканирования веб-сайтов.
1. Знакомство с HTML
Изучите структуру HTML (HyperText Markup Language – язык гипертекстовой разметки). Мы начнем с объяснения, почему веб-скрапинг может быть ценным дополнением к вашему набору инструментов для обработки данных, а затем углубимся в некоторые основы HTML. Мы заканчиваем главу кратким введением в использование XPath (XML Path Language – язык запросов к элементам XML-документа), которое используется для навигации по элементам в HTML коде.
2. Xpath и Селекторы
Используйте синтаксис XPath, чтобы изучить scrapy селекторы. Обе эти концепции помогут вам извлечь HTML-документ.XPпатология
50
Подсчет элементов в дикой природе
50
Контент тега <body>
100
Выбирай Deep Skills
100
Возвращение к XPath
50
Где они?
100
Проверь свой класс
100
Активная гиперссылка
100
Секретные ссылки
100
Селектор объектов
50
Xpath чейнинг
100
Упражнение из 2-х частей
100
Источник источника
50
Проверка заголовка курса с помощью класса
50
Запрос селектора
100
3. CSS локаторы, чейнинг и Response объекты
Изучите синтаксис CSS локатора и начните работать с идеей объединить цепочку методов CSS локаторов с синтаксисом XPath. Мы также представляем Response объекты (объекты ответа сервера), которые ведут себя как Селекторы, но дают нам дополнительные инструменты для мобилизации наших усилий по очистке нескольких веб-сайтов.От Xpath к CSS
50
От Xpath к CSS локаторам
100
Получим ссылку тега <a>
100
CSS символ
100
CSS атрибуты и выделение текста
50
Поработаем с href
100
Текст высшего уровня
100
Все уровни текста
100
Response!
50
Отобразить по Response
100
Ответ с помощью селекторов
100
Выбор из выбора
100
Скрапинг в реальности
50
Обратимся ко всем заголовкам
100
Поскрапим дочерние элементы
100
4. Spiders(“веб-пауки”)
Научитесь создавать поисковые модули с помощью scrapy. Эти скрапи спайдерс будут сканировать сеть сквозь несколько страниц, следуя по ссылкам, чтобы автоматически очищать каждую из этих страниц в соответствии с процедурами, которые мы изучили в предыдущих главах.
