Ничего не найдено

Понятие веб-скрапинга в Python

Учимся извлекать нужные нам данные из интернета путём скрапинга и парсинга сайтов.

Николай Свиридов
Преподаватель

Николай Свиридов

Бывший инженер лабораторных медицинских систем, ставший разработчиком. Ментор. Блогер. Зажигаю таланты с помощью канала YouTube.com/luchanos

4часа
17видео
39упражнений
4500опыта
Описание курсаСпособность создавать инструменты, способные извлекать и анализировать информацию, хранящуюся в Интернете, была и остается ценной во многих областях науки о данных. В этом курсе вы научитесь ориентироваться и анализировать HTML-код, а также создавать инструменты для автоматического перехода от страницы к странице, перемещаясь между веб-сайтами. Хотя наш скрапинг будет проводиться с использованием универсальной библиотеки Python scrapy, многие методы, которые вы изучите в этом курсе, вы сможете применить и к другим популярным библиотекам Python, включая BeautifulSoup и Selenium. По окончании этого курса у вас будет полное понимание модели структуры HTML, вы сможете создавать инструменты для анализа html-кода и доступа к нужной информации, а также создавать простые Scrapy Spiders для масштабного сканирования веб-сайтов.
1.  Знакомство с HTML
Изучите структуру HTML (HyperText Markup Language – язык гипертекстовой разметки). Мы начнем с объяснения, почему веб-скрапинг может быть ценным дополнением к вашему набору инструментов для обработки данных, а затем углубимся в некоторые основы HTML. Мы заканчиваем главу кратким введением в использование XPath (XML Path Language – язык запросов к элементам XML-документа), которое используется для навигации по элементам в HTML коде.

3.  CSS локаторы, чейнинг и Response объекты
Изучите синтаксис CSS локатора и начните работать с идеей объединить цепочку методов CSS локаторов с синтаксисом XPath. Мы также представляем Response объекты (объекты ответа сервера), которые ведут себя как Селекторы, но дают нам дополнительные инструменты для мобилизации наших усилий по очистке нескольких веб-сайтов.

4.  Spiders(“веб-пауки”)
Научитесь создавать поисковые модули с помощью scrapy. Эти скрапи спайдерс будут сканировать сеть сквозь несколько страниц, следуя по ссылкам, чтобы автоматически очищать каждую из этих страниц в соответствии с процедурами, которые мы изучили в предыдущих главах.

Что вы узнаете

      1. Основы веб-скрапинга. Курс начинается с разъяснения базовых концепций и принципов веб-скрапинга, создавая прочную основу для дальнейшего изучения.
      2. Инструменты и библиотеки. Вы узнаете о популярных библиотеках Python, таких как Beautiful Soup и Requests, а также научитесь использовать их в синергии с универсальным инструментом Python scrapy для эффективного извлечения данных.
      3. Практические упражнения. Составленные с учетом реальных сценариев использования, 39 практических упражнений помогут вам закрепить полученные знания, применяя их на практике.
      4. Этика веб-скрапинга. Курс также охватывает вопросы этики веб-скрапинга, чтобы вы могли использовать полученные навыки с уважением к правилам и законам.
Отзывы выпускников

Преимущества курса

      1. Оптимизированное время: курс, длительностью 4 часа, разбит на 17 видео-уроков, что обеспечивает эффективное и удобное усвоение материала.
      2. Практическая направленность большое количество практических упражнений обеспечивает глубокое понимание темы и формирует навыки, готовые к немедленному применению.
      3. Обратная связь: возможность получить обратную связь от опытных инструкторов и общение с другими учащимися создают обучающую среду, способствующую быстрому и эффективному усвоению материала.
Отзывы выпускников

Как использовать полученные знания

После завершения курса вы сможете применять веб-скрапинг для:

      • Извлечения данных для анализа: получайте ценные данные для принятия обоснованных бизнес-решений или проведения исследований.
      • Автоматизации задач: автоматизируйте процессы сбора данных, что позволит вам сэкономить время и ресурсы.
      • Создания персонализированных приложений: используйте извлеченные данные для разработки персонализированных приложений и сервисов.

Курс «Понятие веб-скрапинга в Python» — ваш ключ к миру данных, где каждый бит информации может быть использован для достижения ваших целей.

Отзывы выпускников
ООО «Дипскиллс»
г. Москва, ул. Измайловский Вал, д. 2
© DeepSkills, 2023