Учебники

3) Что такое ноутбук Jupyter?

Февраль 11, 2020

Что такое ноутбук Jupyter?

Записная книжка Jupyter — это веб-приложение, которое позволяет пользователю писать коды и элементы форматированного текста. В блокнотах вы можете написать абзац, уравнения, заголовок, добавить ссылки, рисунки и так далее. Записная книжка полезна для обмена интерактивными алгоритмами с вашей аудиторией, фокусируясь на обучении или демонстрации техники. Jupyter Notebook — это также удобный способ анализа данных.

В этом уроке вы узнаете

Введение в приложение Jupyter Notebook

Приложение Jupyter Notebook — это интерфейс, в котором вы можете писать свои скрипты и коды через веб-браузер. Приложение может использоваться локально, то есть вам не нужен доступ в интернет или удаленный сервер.

Каждое вычисление выполняется через ядро. Новое ядро ​​создается каждый раз, когда вы запускаете Jupyter Notebook.

Как пользоваться ноутбуком Jupyter

Ниже вы узнаете, как пользоваться ноутбуком Jupyter. Вы напишете простую строку кода, чтобы ознакомиться со средой Jupyter.

Шаг 1) Вы добавляете в рабочий каталог папку, в которой будут находиться все записные книжки, которые вы создадите во время обучения TensorFlow.

Откройте Терминал и напишите 

mkdir jupyter_tf
jupyter notebook

Код Объяснение

  • mkdir jupyter_tf: создать имена папок jupyter_tf
  • jupyter notebook: открыть веб-приложение Jupyter

Шаг 2) Вы можете увидеть новую папку внутри среды. Нажмите на папку jupyter_tf.

Шаг 3) Внутри этой папки вы создадите свой первый блокнот. Нажмите на кнопку New и Python 3 .

Шаг 4) Вы находитесь в среде Jupyter. Пока что ваш блокнот называется Beforetled.ipynb. Это имя по умолчанию, данное Jupyter. Давайте переименуем его, нажав Файл и Переименовать

Вы можете переименовать его Введение_jupyter

В Jupyter Notebook вы пишете коды, аннотации или текст внутри ячеек.

Внутри ячейки вы можете написать одну строку кода.

или несколько строк. Jupyter читает код одну строку за другой.

Например, если вы пишете следующий код внутри ячейки.

Это произведет этот вывод.

Шаг 5) Вы готовы написать свою первую строку кода. Вы можете заметить, что ячейка имеет два цвета. Зеленый цвет означает, что вы находитесь в режиме редактирования .

Однако синий цвет указывает, что вы находитесь в режиме выполнения .

Ваша первая строка кода будет печатать Guru99 !. Внутри клетки вы можете написать

print("Guru99!")

Есть два способа запустить код в Jupyter:

  • Нажмите и запустите
  • Горячие клавиши

Чтобы запустить код, вы можете нажать на ячейку, а затем запустить ячейки и выберите ниже

Вы можете видеть, что код напечатан ниже ячейки, и новая ячейка появилась сразу после вывода.

Более быстрый способ запуска кода — использовать сочетания клавиш . Чтобы получить доступ к сочетаниям клавиш, перейдите к Справка и сочетания клавиш

Ниже приведен список сочетаний клавиш для клавиатуры MacOS. Вы можете редактировать ярлыки в редакторе.

Ниже приведены ярлыки для Windows

Напишите эту строку 

print("Hello world!")

и попробуйте использовать сочетания клавиш для запуска кода. Используйте alt + enter. он выполнит ячейку и вставит новую пустую ячейку ниже, как вы делали раньше.

Шаг 6) Пора закрыть Блокнот. Перейдите в Файл и нажмите Закрыть и Остановить

Примечание : Jupyter автоматически сохраняет записную книжку с контрольной точкой. Если у вас есть следующее сообщение:

Это означает, что Jupyter не сохранял файл со времени последней контрольной точки. Вы можете вручную сохранить блокнот

Вы будете перенаправлены на главную панель. Вы можете видеть, что ваша записная книжка была сохранена минуту назад. Вы можете безопасно выйти из системы.

Установите ноутбук Jupyter с AWS

Если у вас нет учетной записи в AWS, создайте бесплатную учетную запись здесь .

Мы будем действовать следующим образом

ЧАСТЬ 1: Установите пару ключей

Шаг 1) Зайдите в Сервисы и найдите EC2

Шаг 2) На панели и нажмите на ключевые пары

Шаг 3) Нажмите Создать пару ключей

  1. Вы можете назвать это ключ Docker
  2. Нажмите Создать

Имя файла Docker_key.pem загружается.

Шаг 4) Скопируйте и вставьте его в ключ папки. Нам это понадобится в ближайшее время.

Только для пользователей Mac OS

Этот шаг касается только пользователя Mac OS. Для пользователей Windows или Linux перейдите к ЧАСТИ 2

Вам нужно установить рабочий каталог, который будет содержать ключ файла

Прежде всего, создайте папку с именем key. Для нас он находится внутри главной папки Docker. Затем вы установите этот путь в качестве рабочего каталога

mkdir Docker/key
cd Docker/key

ЧАСТЬ 2: Настройте группу безопасности

Шаг 1) Вам необходимо настроить группу безопасности. Вы можете получить к нему доступ с помощью панели

Шаг 2) Нажмите «Создать группу безопасности».

Шаг 3) На следующем экране

  1. Введите имя группы безопасности «jupyter_docker» и описание группы безопасности для Docker.
  2. Вам нужно добавить 4 правила поверх
  • ssh: диапазон портов 22, источник Anywhere
  • http: диапазон портов 80, источник Anywhere
  • https: диапазон портов 443, источник Anywhere
  • Пользовательский TCP: диапазон портов 8888, источник Anywhere
  1. Нажмите Создать

Шаг 4) Вновь созданная группа безопасности будет в списке

Часть 3: Запустить экземпляр

Вы наконец готовы создать экземпляр

Шаг 1) Нажмите на Экземпляр запуска

Сервер по умолчанию достаточно для ваших нужд. Вы можете выбрать Amazon Linux AMI. Текущий экземпляр является 2018.03.0.

AMI расшифровывается как Amazon Machine Image. Он содержит информацию, необходимую для успешного запуска экземпляра, который запускается на виртуальном сервере, хранящемся в облаке.

Обратите внимание, что в AWS есть сервер, предназначенный для глубокого обучения, такой как:

  • Deep Learning AMI (Ubuntu)
  • Глубокое обучение AMI
  • База глубокого обучения AMI (Ubuntu)

Все они поставляются с последними двоичными файлами сред глубокого обучения, предварительно установленными в отдельных виртуальных средах:

  • TensorFlow,
  • Caffe
  • PyTorch,
  • Keras,
  • Theano
  • CNTK.

Полностью сконфигурирован с NVidia CUDA, cuDNN и NCCL, а также Intel MKL-DNN

Шаг 2) Выберите t2.micro . Это бесплатный сервер уровня. AWS предлагает бесплатно эту виртуальную машину с 1 виртуальным ЦП и 1 ГБ памяти. Этот сервер обеспечивает хороший компромисс между вычислениями, памятью и производительностью сети. Подходит для малых и средних баз данных

Шаг 3) Оставьте настройки по умолчанию на следующем экране и нажмите Далее: Добавить хранилище

Шаг 4) Увеличьте объем хранилища до 10 ГБ и нажмите Далее

Шаг 5) Оставьте настройки по умолчанию и нажмите Далее: Настройка группы безопасности

Шаг 6) Выберите группу безопасности, которую вы создали ранее, это jupyter_docker

Шаг 7) Проверьте ваши настройки и нажмите кнопку запуска

Шаг 8) Последний шаг — связать пару ключей с экземпляром.

Шаг 8) Экземпляр запустится

Шаг 9) Ниже приведена сводная информация об экземплярах, используемых в настоящее время. Обратите внимание на публичный IP

Шаг 9) Нажмите на Подключить

Вы найдете детали подключения

Запустите свой экземпляр (пользователи Mac OS)

Сначала убедитесь, что внутри терминала ваш рабочий каталог указывает на папку с докером файлов пары ключей

запустить код 

chmod 400 docker.pem

Откройте соединение с этим кодом.

Есть два кода. в некоторых случаях первый код не позволяет Jupyter открывать блокнот.

В этом случае используйте второй для принудительного подключения. 

# If able to launch Jupyter
ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com

# If not able to launch Jupyter
ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com -L 8888:127.0.0.1:8888

В первый раз вам предлагается принять соединение

Запустите свой экземпляр (пользователи Windows)

Шаг 1) Зайдите на этот сайт, чтобы загрузить PuTTY и PuTTYgen PuTTY

Вам нужно скачать

  • PuTTY: запустить экземпляр
  • PuTTYgen: конвертировать файл pem в ppk

Теперь, когда оба программного обеспечения установлены, вам нужно преобразовать файл .pem в .ppk. PuTTY может читать только .ppk. Файл pem содержит уникальный ключ, созданный AWS.

Шаг 2) Откройте PuTTYgen и нажмите «Загрузить». Просмотрите папку, в которой находится файл .pem.

Шаг 3) После загрузки файла вы должны получить уведомление о том, что ключ был успешно импортирован. Нажмите на ОК

Шаг 4) Затем нажмите Сохранить закрытый ключ. Вас спросят, хотите ли вы сохранить этот ключ без ключевой фразы. Нажмите на да.

Шаг 5) Сохраните ключ

Шаг 6) Зайдите в AWS и скопируйте общедоступный DNS

Откройте PuTTY и вставьте публичный DNS в имя хоста

Шаг 7)

  1. На левой панели разверните SSH и откройте Auth
  2. Просмотрите закрытый ключ. Вы должны выбрать .ppk
  3. Нажмите на Открыть.

Шаг 8)

Когда этот шаг будет выполнен, откроется новое окно. Нажмите Да, если вы видите это всплывающее окно

Шаг 9)

Вам необходимо войти как: ec2-пользователь

Шаг 10)

Вы подключены к Amazon Linux AMI.

Часть 4: Установите Docker

Пока вы подключены к серверу через Putty / Terminal, вы можете установить Docker- контейнер.

Выполните следующие коды 

sudo yum update -y
sudo yum install -y docker
sudo service docker start
sudo user-mod -a -G docker ec2-user
exit

Запустите снова соединение 

ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com -L 8888:127.0.0.1:8888

Пользователи Windows используют SSH, как указано выше

Часть 5: Установите Jupyter

Шаг 1) Создайте Jupyter с предварительно созданным изображением

## Tensorflow
docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/tensorflow-notebook 
## Sparkdocker
run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/pyspark-notebook

Код Объяснение

  • Docker run: запустить образ
  • v: прикрепить том
  • ~ / работа: / home / jovyan / работа: том
  • 8888: 8888: порт
  • jupyter / datascience-notebook: изображение

Для других изображений до сборки, перейдите сюда

Разрешить сохранение блокнота Jupyter 

sudo chown 1000 ~/work

Шаг 2) Установите дерево, чтобы увидеть наш рабочий каталог следующим

sudo yum install -y tree

Шаг 3)

  1. Проверьте контейнер и его имя (меняется при каждой установке). Используйте команду 
    docker ps
  2. Получить имя и использовать журнал, чтобы открыть Jupyter. В учебнике имя контейнера - vigilant_easley. Используйте команду 
    docker logs vigilant_easley
  3. Получить URL

Шаг 4)

В URL

http: // (90a3c09282d6 или 127.0.0.1): 8888 /? token = f460f1e79ab74c382b19f90fe3fd55f9f99c5222365eceed

Замените (90a3c09282d6 или 127.0.0.1) на публичный DNS вашего экземпляра.

Шаг 5)

Новый URL становится

http: // ec2-174-129-135-16.compute-1.amazonaws.com: 8888 /? token = f460f1e79ab74c382b19f90fe3fd55f9f99c5222365eceed

Шаг 6) Скопируйте и вставьте URL в ваш браузер. Юпитер открывает

Шаг 7)

Вы можете написать новую записную книжку в рабочей папке

Часть 6: Тесная связь

Закрыть соединение в терминале 

exit

Вернитесь в AWS и остановите сервер.

Поиск проблемы

Если когда-либо Docker не работает, попробуйте восстановить изображение, используя 

docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/tensorflow-notebook

Резюме

  • Jupyter notebook - это веб-приложение, в котором вы можете запускать свои коды Python и R. С Jupyter легко обмениваться и предоставлять расширенный анализ данных.
  • Чтобы запустить jupyter, напишите в терминале: jupyter notebook
  • Вы можете сохранить свой ноутбук везде, где вы хотите
  • Ячейка содержит ваш код Python. Ядро будет читать код один за другим.
  • Вы можете использовать ярлык для запуска ячейки. По умолчанию: Ctrl + Enter

 

50
Share: