12) Учебное пособие по нейронным сетям

## resclae
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
# Train
X_train_scaled = scaler.fit_transform(X_train.astype(np.float64))
# test
X_test_scaled = scaler.fit_transform(X_test.astype(np.float64))

Теперь вы знакомы с тем, как создать тензор в Tensorflow. Вы можете преобразовать набор поездов в числовой столбец.

feature_columns = [tf.feature_column.numeric_column('x', shape=X_train_scaled.shape[1:])]		

Архитектура нейронной сети содержит 2 скрытых слоя с 300 единицами для первого уровня и 100 единицами для второго. Мы используем эти значения на основе нашего собственного опыта. Вы можете настроить значения этих тезисов и посмотреть, как это влияет на точность работы сети.

Для построения модели вы используете оценщик DNNClassifier. Вы можете добавить количество слоев к аргументу feature_columns. Вам нужно установить количество классов до 10, так как в тренировочном наборе десять классов. Вы уже знакомы с синтаксисом объекта оценки. Аргументы функции столбцы, количество классов и model_dir точно такие же, как в предыдущем уроке. Новый аргумент hidden_unit управляет количеством слоев и количеством узлов для подключения к нейронной сети. В приведенном ниже коде есть два скрытых слоя, первый из которых соединяет 300 узлов, а второй — 100 узлов.

Чтобы построить оценщик, используйте tf.estimator.DNNClassifier со следующими параметрами:

• feature_columns: определить столбцы для использования в сети
• hidden_units: определить количество скрытых нейронов
• n_classes: определить количество классов для прогнозирования
• model_dir: определить путь TensorBoard

estimator = tf.estimator.DNNClassifier(
    feature_columns=feature_columns,
    hidden_units=[300, 100], 
    n_classes=10, 
    model_dir = '/train/DNN')

Вы можете использовать метод NumPy, чтобы обучить модель и оценить ее

# Train the estimator
train_input = tf.estimator.inputs.numpy_input_fn(
    x={"x": X_train_scaled},
    y=y_train,
    batch_size=50,
    shuffle=False,
    num_epochs=None)
estimator.train(input_fn = train_input,steps=1000) 
eval_input = tf.estimator.inputs.numpy_input_fn(
    x={"x": X_test_scaled},
    y=y_test, 
    shuffle=False,
    batch_size=X_test_scaled.shape[0],
    num_epochs=1)
estimator.evaluate(eval_input,steps=None) 

Вывод:

{'accuracy': 0.9637143,
 'average_loss': 0.12014342,
 'loss': 1682.0079,
 'global_step': 1000}

Нынешняя архитектура приводит к точности оценки 96%.

Вы можете попытаться улучшить модель, добавив параметры регуляризации.

Мы будем использовать оптимизатор Adam с коэффициентом отсева 0,3, L1 из X и L2 из y. В TensorFlow вы можете управлять оптимизатором с помощью последовательности объектов, следующей за именем оптимизатора. TensorFlow — это встроенный API для оптимизатора Proximal AdaGrad.

Чтобы добавить регуляризацию в глубокую нейронную сеть, вы можете использовать tf.train.ProximalAdagradOptimizer со следующим параметром

• Скорость обучения: learning_rate
• Регуляризация L1: l1_regularization_strength
• Регуляризация L2: l2_regularization_strength

estimator_imp = tf.estimator.DNNClassifier(
    feature_columns=feature_columns,
    hidden_units=[300, 100],
    dropout=0.3, 
    n_classes = 10,
    optimizer=tf.train.ProximalAdagradOptimizer(
      learning_rate=0.01,
      l1_regularization_strength=0.01, 
      l2_regularization_strength=0.01
    ),
    model_dir = '/train/DNN1')
estimator_imp.train(input_fn = train_input,steps=1000) 
estimator_imp.evaluate(eval_input,steps=None) 

Вывод:

{'accuracy': 0.95057142,
 'average_loss': 0.17318928,
 'loss': 2424.6499,
 'global_step': 2000}

Значения, выбранные для уменьшения переоснащения, не улучшили точность модели. Ваша первая модель имела точность 96%, в то время как модель с регуляризатором L2 имеет точность 95%. Вы можете попробовать разные значения и посмотреть, как это влияет на точность.

Резюме

Из этого урока вы узнаете, как построить нейронную сеть. Нейронная сеть требует:

• Number of hidden layers
• Number of fully connected node
• Activation function
• Optimizer
• Number of classes

In TensorFlow, you can train a neural network for classification problem with:

• tf.estimator.DNNClassifier

The estimator requires to specify:

• feature_columns=feature_columns,
• hidden_units=[300, 100]
• n_classes=10
• model_dir

You can improve the model by using different optimizers. In this tutorial, you learned how to use Adam Grad optimizer with a learning rate and add a control to prevent overfitting.