Блокноты Jupyter для анализа данных: руководство для начинающих

Блокноты Jupyter для анализа данных Изучение

Важность анализа данных неуклонно растет во всех отраслях. Наличие надлежащих инструментов анализа данных и визуализации стало как никогда важным. Jupyter Notebooks — один из ведущих инструментов с открытым исходным кодом для разработки и управления аналитикой данных.

Первоначально Jupyter начал свою жизнь как ответвление проекта iPython в 2014 году и превратился в полноценную интерактивную платформу для анализа данных. Jupyter, управляемый некоммерческой организацией Project Jupyter, стремится предоставить наиболее полную платформу для анализа данных.

В этой статье мы покажем вам, как установить и настроить локальную среду Jupyter. Вы можете использовать это руководство как идеальную отправную точку для начала работы по анализу данных.

Что такое блокнот Jupyter?

Jupyter Notebook — это веб-приложение с открытым исходным кодом, которое предоставляет интерактивную вычислительную среду. Он создает документы (записные книжки), которые объединяют как входные (код), так и выходные данные в один файл. Он предлагает единый документ, который содержит:

  • Визуализации
  • Математические уравнения
  • Статистическое моделирование
  • Повествовательный текст
  • Любые другие мультимедийные материалы

Такой подход с использованием единого документа позволяет пользователям разрабатывать, визуализировать результаты и добавлять информацию, диаграммы и формулы, которые делают работу более понятной, повторяемой и доступной для совместного использования.

Ноутбуки Jupyter поддерживают более 40 языков программирования, в основном на Python. Поскольку это бесплатный инструмент с открытым исходным кодом, любой может свободно использовать его для своих проектов в области науки о данных. Есть два варианта записной книжки Jupyter:

  • Jupyter Classic Notebookсо всеми упомянутыми выше возможностями.
  • JupyterLab, новый интерфейс ноутбука нового поколения, разработанный, чтобы быть гораздо более расширяемым и модульным, с поддержкой широкого спектра рабочих процессов от науки о данных, машинного обучения и научных вычислений.

Сегодня JupyterLab — это блокнот по умолчанию для любого проекта Jupyter.

Установка Jupyter Notebook (JupyterLab)

Есть несколько способов установить и использовать Jupyter Notebooks, начиная от установки через conda, mamba, pip, pipenv или даже как контейнер Docker.

В этом разделе мы обсудим два метода установки Jupyter Notebooks в вашей локальной среде. Мы будем использовать Windows в качестве среды операционной системы для настройки JupyterLab.

Установить через Pipenv

Pipenv позволяет пользователям создавать детерминированную воспроизводимую виртуальную среду с надлежащим управлением зависимостями для проектов Python. Поскольку Jupyter поставляется в виде пакета pip, мы можем просто установить его в этой виртуальной среде.

Во-первых, давайте создадим папку, которая действует как виртуальная среда. В этом примере у нас есть папка с именем «jupyter_notebook», которая будет использоваться для создания среды с помощью Pipenv.

Просто выполните следующую команду, чтобы открыть эту папку и установить версию Python 3.8. Однако для этого мы можем использовать любую поддерживаемую версию Python.

pipenv –python 3.8

Просто выполните следующую команду, чтобы открыть

Затем выполните следующую команду, чтобы установить пакет Jupyter через pip:

pipenv install jupyterlab

Затем выполните следующую команду, чтобы установить пакет Jupyter через pip

Наконец, мы можем запустить JupyterLab с помощью команды run.

pipenv run jupyter lab

Наконец, мы можем запустить JupyterLab с помощью команды run

После запуска JupyterLab мы сможем получить доступ к установке JupyterLab через предоставленный URL-адрес ( https: // localhost: 8888 ).

После запуска JupyterLab мы сможем получить доступ к установке

Таким образом, метод Pipenv предлагает изолированную среду JupyterLab для работы без конфликта с:

  • Любой другой проект Python
  • Настройки
  • Пакеты, установленные глобально

Установить с помощью инструментария Anaconda Data Science Toolkit

Anaconda — это дистрибутив языков программирования Python и R с открытым исходным кодом, цель которого — упростить развертывание и управление пакетами. Поставляется со своими собственными:

  • Система управления пакетами (conda)
  • Возможности виртуальной среды
  • Пакеты программного обеспечения, предназначенные для проектов в области науки о данных

Индивидуальная версия anaconda позволяет быстро настроить локальную среду обработки данных, просто установив установочный пакет anaconda.

Теперь давайте установим Jupyter Notebook через Anaconda. Сначала перейдите на веб-сайт Anaconda и загрузите соответствующий установочный пакет Individual Edition для вашей операционной системы.

Теперь давайте установим Jupyter Notebook через Anaconda

Затем установите программное обеспечение на локальный компьютер с помощью установщика (пакет.exe).

Затем установите программное обеспечение на локальный компьютер

После этого откройте только что установленное приложение под названием Anaconda Navigator после завершения установки. Это графический интерфейс, используемый для установки приложений и пакетов для среды conda. Вы заметите, что и Jupyter Notebook, и JupyterLab доступны в разделе приложений Anaconda Navigator.

После этого откройте только что установленное приложение

Затем выберите предпочитаемый тип ноутбука и установите его. После этого нажмите кнопку «Запустить», чтобы запустить Jupyter Notebook. Откроется окно браузера с открытой записной книжкой.

Затем выберите предпочитаемый тип ноутбука и установите его

По умолчанию Juptyper получит доступ ко всем файлам и папкам в месте запуска. Это место установки anaconda, тогда как это папка виртуальной среды для Pipenv.

Создание записной книжки

Поскольку мы завершили процесс установки, теперь мы можем перейти к созданию записной книжки. Нажмите кнопку записной книжки на домашней странице веб-интерфейса JupyterLab или перейдите в меню «Файл» -> «Создать» -> «Записная книжка», чтобы создать новую записную книжку.

Это откроет новую записную книжку без названия под названием untitled.ipynb, где мы можем начать кодировать наш проект.

Это откроет новую записную книжку без названия под названием untitled

Компоненты notebook Jupyter

В этом разделе мы рассмотрим основные компоненты записной книжки Jupyter, которые необходимы для взаимодействия со средой Jupyter.

Файл ipynb

Файл.ipynb — это расширение, используемое для определения отдельной записной книжки. Этот файл содержит все данные вашей записной книжки в формате JSON. Более того, он включает все содержимое ячеек, вложения изображений в виде преобразованных строк и метаданные, относящиеся к записной книжке.

Давайте создадим простую записную книжку с именем test.ipynb и добавим туда простой оператор печати, как показано ниже.

Давайте создадим простую записную книжку с именем test

Теперь, если мы откроем файл test.ipynb как файл JSON, мы увидим, как там хранится вся информация, относящаяся к записной книжке.

Теперь, если мы откроем файл test.ipynb как файл JSON

Ядро ноутбука

Ядро действует как мозг ноутбука. Любой код в ячейке будет выполнен в ядре, а результат будет возвращен в записную книжку. Ядро рассматривает весь документ (записную книжку) как единое целое и поддерживает состояние между ячейками.

В следующем примере мы определили переменную (data_x) в ячейке и получили доступ к той же переменной в отдельной ячейке для простого вычисления сложения.

Если нам нужно очистить все переменные, мы можем просто перезапустить

Если нам нужно очистить все переменные, мы можем просто перезапустить ядро ​​или использовать другие параметры, такие как «Перезапустить и очистить все выходные данные» или «Запустить все ячейки», в зависимости от требуемого результата. Кроме того, у нас есть возможность прерывания, чтобы остановить ядро, если оно зависло из-за вычислительной проблемы.

Ядро также определяет язык программирования, поддерживаемый в записной книжке, начиная от Java, Scala, R, Lua и т. Д. Более того, пользователи могут установить любое поддерживаемое ядро ​​и использовать его для создания записной книжки. Некоторые ядра, такие как ядро ​​SoS, расширяют поддержку нескольких языков в одном ноутбуке.

Читайте также:  Что такое SSL и какой тип сертификата вам подходит

Ячейки в записной книжке

Клетки — это строительные блоки записной книжки. Все, что мы делаем в блокноте, мы делаем в определенном блоке клетки. В записной книжке есть два типа ячеек:

  • Кодовая ячейка. Эти ячейки содержат код, который будет выполняться в ядре. Когда записная книжка будет запущена, результат будет показан под ячейкой кода (вне ячейки).
  • Ячейка уценки. Эти ячейки содержат текстовое содержимое с использованием Markdown. Во время выполнения результат будет сгенерирован на месте ячейки уценки.

Типы ячеек:

Эти ячейки содержат текстовое содержимое с использованием Markdown

Ячейки во время выполнения:

Ячейки во время выполнения

Для всех типов ячеек существует два режима: режим редактирования и командный режим:

  • Когда мы щелкаем ячейку и начинаем редактирование, она меняет свой внешний вид с синей рамкой, указывающей на режим редактирования.
  • Когда мы выйдем из ячейки, он станет серым, чтобы указать командный режим.

Режим редактирования ячейки:

Режим редактирования ячейки

Командный режим ячейки:

Командный режим ячейки

Начало работы с аналитикой данных

Теперь, когда мы можем установить Jupyter Notebooks и понять его основные компоненты, давайте проведем анализ данных и визуализацию с помощью Notebook.

Сначала мы создадим новую записную книжку с именем «race_data». Для этого анализа мы будем использовать набор данных о чемпионате мира Формулы-1 (1950-2021), доступный от Kaggle.

Цель этого анализа — определить водителя с наибольшим количеством побед в F1. Прежде чем начать, убедитесь, что вы установили необходимые библиотеки для среды Python. Вы можете использовать команду «pipenv install» для установки Pipenv и использовать conda для установки anaconda.

Шаг 1

Импортируйте данные из набора данных Kaggle (файл.csv) во фреймы данных Pandas.

import numpy as np
import pandas as pd# Import Data
results_dataframe = pd.read_csv(‘G:\data\results.csv’)
circuits_dataframe = pd.read_csv(‘G:\data\circuits.csv’)
drivers_dataframe = pd.read_csv(‘G:\data\drivers.csv’)
races_dataframe = pd.read_csv(‘G:\data\races.csv’)
constructor_dataframe = pd.read_csv(‘G:\data\constructors.csv’)

Импортируйте данные из набора данных Kaggle (файл.csv) во фреймы данных Pandas

Шаг 2

Проверьте импорт, распечатав несколько фреймов данных.

# Prints Results Data Frame
results_dataframe.head()# Prints Drivers Data Frame
drivers_dataframe.head()

Проверьте импорт, распечатав несколько фреймов данных

Шаг 3

Объедините все фреймы данных, чтобы создать единый первичный фрейм данных, состоящий из всех необходимых данных.

# Join Data Frames

 

driver_result_dataframe = pd.merge(results_dataframe,drivers_dataframe,on=’driverId’)
race_result_dataframe = pd.merge(driver_result_dataframe,races_dataframe,on=’raceId’)
complete_race_data_dataframe = pd.merge(race_result_dataframe,constructor_dataframe,on=’constructorId’)

complete_race_data_dataframe.head()

Объедините все фреймы данных, чтобы создать единый первичный фрейм данных

Шаг 4

Очистите фрейм данных. Мы удалим все ненужные столбцы из фрейма данных.

complete_race_data_dataframe = complete_race_data_dataframe.drop
(columns=[‘url_x’,’url_y’,’name_y’,’nationality_y’,’url’,’time_y’])
complete_race_data_dataframe.head()

Мы удалим все ненужные столбцы из фрейма данных

Шаг 5

Подсчитайте общие выигрыши для каждого гонщика. В приведенном ниже блоке кода мы:

  1. Отфильтруйте данные гонок, чтобы они содержали только первые позиции, и создайте новый целочисленный столбец с именем «position_mod».
  2. Сгруппируйте данные по столбцам «driverRef» и «nationality_x» с суммой postion_mod.
  3. Отсортируйте данные по убыванию и получите первые десять строк.

# Filter & Calculate Results
total_wins = complete_race_data_dataframe[(complete_race_data_dataframe[‘position’]== ‘1’)] total_wins[‘position_mod’] = total_wins[‘position’].astype(int)
total_wins = total_wins.groupby([‘driverRef’,’nationality_x’])[‘position_mod’].sum().reset_index()
total_wins = total_wins.sort_values(by=[‘position_mod’], ascending=False)
total_wins = total_wins.head(10)

Подсчитайте общие выигрыши для каждого гонщика

ШАГ 6

Создайте гистограмму, используя новый набор данных, полученный на шаге 5, с использованием библиотеки plotly.

import plotly.graph_objects as go
from plotly.offline import iplot
import plotly.io as pio
pio.renderers.default = “iframe”# Create Bar Chart
chart = go.Figure(data=[go.Bar(
x= total_wins[‘driverRef’],
y= total_wins[‘position_mod’],
hovertext = total_wins[‘nationality_x’] )])chart.update_layout(title={
‘text’: “TOP 10 DRIVERS WITH MOST WINS IN F1”,
‘y’:0.9,
‘x’:0.5,
‘xanchor’: ‘center’,
‘yanchor’: ‘top’},
yaxis=dict(
title=’No of Wins’,
titlefont_size=16,
tickfont_size=14),
xaxis=dict(
title=’Driver’,
titlefont_size=16,
tickfont_size=14),
template = “plotly_dark”
)
iplot(chart)

Создайте гистограмму, используя новый набор данных, полученный на шаге 5

Созданный график

Начните анализ данных с Jupyter

Начните анализ данных с Jupyter

Jupyter Notebooks — идеальное место для начала работы в области анализа данных. Jupyter предоставляет многофункциональную, надежную и удобную среду с использованием нескольких методов установки. Пользователи могут использовать Jupyter в любой среде, независимо от платформы.

Оцените статью
bestprogrammer.ru
Добавить комментарий