Импорт данных с помощью pandas
Данный курс познакомит Вас с формами хранения данных и методами их получения.
Преподаватель
Анастасия Шафиева
Преподаватель по курсам компьютерные сети, телекоммуникации и связь
4часа
16видео
37упражнений
4500опыта
Описание курсаПервостепенной задачей при обработке данных является их получение из различных источников. Данный курс познакомит Вас с формами хранения данных и методами их получения. Методология курса основана на библиотеке pandas – одной из ключевых библиотек языка Python. Библиотека pandas предназначенная для получения данных из различных источников (от электронных таблиц до баз данных запросов государственных услуг и API популярных сайтов) и их последующей аналитике. В данном курсе Вы научитесь получать необходимые данные из различных источников и научитесь решать проблемы, связанные с неправильными типами данных. По итогу прохождения курса сможете собрать собственный набор данных из различных источников и обработать его.
1. Получение данных из текстовых файлов
Вы научитесь обрабатывать текстовые файлы и получать из них только необходимые данные. Помимо этого научитесь работать с различными типами данных и корректно обрабатывать ошибки, связанные с неверными типами данных. В качестве обучающих данных будут использоваться данные одной из налоговых систем.Введение в текстовые файлы
50
Получение данных из CSV-формата
100
Получение данных из прочих текстовых форматов
100
Различные способы получения данных из текстовых файлов
50
Импорт подмножества столбцов
100
Получение фрагмента файла
100
Обработка ошибок и недостающих данных
50
Указание типа данных
100
Указание пользовательского значения NA
100
Пропуск ошибочных данных
100
2. Получение данных из таблиц Excel
Вы изучите механизмы автоматической выгрузки файлов из таблиц Microsoft Excel. Научитесь получать часть данных или всю книгу целиком, научитесь корректно загружать логические данные, данные в формате даты и времени. Используемый в этой части набор данных расскажет Вам, как разные люди изучают программировать.
Введение в электронные таблицы
50
Получение данных из электронных таблиц
100
Загрузить часть электронной таблицы
100
Получение данных с нескольких листов таблицы
50
Выбор одного листа таблицы
100
Выбор нескольких листов таблицы
100
Обработка нескольких электронных таблиц
100
Получение логических данных
50
Формирование столбцов с логическими данными
100
Установка пользовательских значений True/False
100
Парсинг даты при получении
50
Парсинг простой даты
100
Получение даты и времени из нескольких столбцов таблицы
100
Парсинг нестандартных форматов даты
100
3. Получение данных из базы данных
Вы научитесь объединять возможности библиотеки pandas с возможностями SQL, чтобы обрабатывать данные из различных баз данных. В этой части раскрываются вводные темы SQL, такие как оператор WHERE, агрегатные функции и операции соединения таблиц.
Введение в базы данных
50
Подключение к базе данных
100
Загрузка таблицы с данными
100
Конкретизация данных при их получении с помощью SQL-запросов
50
Выбор столбцов таблицы с помощью SQL запросов
100
Выбор строк таблицы с помощью SQL запросов
100
Фильтрация данных по нескольким условиям
100
Сложные SQL-запросы
50
Получение различных значений базы данных
100
Выполнение подсчета в группах базы данных
100
Работа с агрегатными функциями
100
Загрузка нескольких таблиц, соединенных между собой
50
Объединение таблиц
100
Присоединение и фильтрация таблиц
100
Объединение, фильтрация и агрегирование таблиц
100
4. Получение данных из JSON файлов и работа с API
Вы узнайте, как работать с данными в формате JSON и веб-API, изучая общедоступные доступные наборы данных. В этой части Вы закончите изучение некоторых методов загрузки данных в двумерные маркированные структуры данных (фреймы) с их последующим объединением.
Введение в JSON
50
Загрузка данных из JSON файла
100
Работа с ориентацией данных в JSON файле
100
Введение в API
50
Получение данных с помощью API
100
Установка параметров API
100
Задание заголовков запроса
100
Работа с вложенными JSON объектами
50
Сведение вложенных JSON объектов
100
Обработка глубоко вложенных JSON объектов
100
Объединение нескольких наборов данных
50
Добавление маркированных структур данных
100
Объединение маркированных структур данных
100
Заключение
50
