Как анализировать твит-настроения с помощью машинного обучения PHP

 | feature_1 | feature_2 | feature_n | target | 

Нам нужно будет создать чистый набор данных только с теми столбцами, которые нам нужны для продолжения работы. Давайте назовем этот скрипт generateCleanDataset.php

 <?php
namespace PhpmlExercise;

require __DIR__ . '/vendor/autoload.php';

use Phpml\Exception\FileException;

$sourceFilepath         = __DIR__ . '/datasets/raw/Tweets.csv';
$destinationFilepath    = __DIR__ . '/datasets/clean_tweets.csv';

$rows =[];

$rows = getRows($sourceFilepath, $rows);
writeRows($destinationFilepath, $rows);


/**
 * @param $filepath
 * @param $rows
 * @return array
 */
function getRows($filepath, $rows)
{
    $handle = checkFilePermissions($filepath);

    while (($data = fgetcsv($handle, 1000, ',')) !== false) {
        $rows[] = [$data[10], $data[1]];
    }
    fclose($handle);
    return $rows;
}

/**
 * @param $filepath
 * @param string $mode
 * @return bool|resource
 * @throws FileException
 */
function checkFilePermissions($filepath, $mode = 'rb')
{
    if (!file_exists($filepath)) {
        throw FileException::missingFile(basename($filepath));
    }

    if (false === $handle = fopen($filepath, $mode)) {
        throw FileException::cantOpenFile(basename($filepath));
    }
    return $handle;
}

/**
 * @param $filepath
 * @param $rows
 * @internal param $list
 */
function writeRows($filepath, $rows)
{
    $handle = checkFilePermissions($filepath, 'wb');

    foreach ($rows as $row) {
        fputcsv($handle, $row);
    }

    fclose($handle);
}

Ничего сложного, просто достаточно, чтобы сделать работу. Давайте выполним это с phpgenerateCleanDataset.php

Теперь давайте продолжим и укажем наш скрипт reviewDataset.php

 Array
(
    [0] => @AmericanAir That will be the third time I have been called by 800-433-7300 an hung on before anyone speaks. What do I do now???
)
Array
(
    [0] => @AmericanAir How clueless is AA. Been waiting to hear for 2.5 weeks about a refund from a Cancelled Flightled flight & been on hold now for 1hr 49min
)

BAM! Это данные, с которыми мы можем работать! До сих пор мы создавали простые сценарии для манипулирования данными. Далее мы собираемся начать создание нового класса в src/classification/SentimentAnalysis.php

 <?php
namespace PhpmlExercise\Classification;

/**
 * Class SentimentAnalysis
 * @package PhpmlExercise\Classification
 */
class SentimentAnalysis { 
    public function train() {}
    public function predict() {}
}

Наш класс настроений будет нуждаться в двух функциях в нашем классе анализа настроений:

• Функция поезда , которая будет использовать наши обучающие образцы и метки набора данных и некоторые дополнительные параметры.
• Функция прогнозирования , которая будет принимать немаркированный набор данных и назначать набор меток на основе данных обучения.

В корне проекта создайте скрипт с именем classifyTweets.php Мы будем использовать его сценарий для создания экземпляра и тестирования нашего класса анализа настроений. Вот шаблон, который мы будем использовать:

 <?php

namespace PhpmlExercise;
use PhpmlExercise\Classification\SentimentAnalysis;

require __DIR__ . '/vendor/autoload.php';

// Step 1: Load the Dataset

// Step 2: Prepare the Dataset

// Step 3: Generate the training/testing Dataset

// Step 4: Train the classifier 

// Step 5: Test the classifier accuracy 

Шаг 1. Загрузите набор данных.

У нас уже есть базовый код, который мы можем использовать для загрузки CSV в объект набора данных из наших предыдущих примеров. Мы собираемся использовать тот же код с несколькими изменениями:

 <?php
...
use Phpml\Dataset\CsvDataset;
...
$dataset = new CsvDataset('datasets/clean_tweets.csv',1);

$samples = [];
foreach ($dataset->getSamples() as $sample) {
    $samples[] = $sample[0];
}

Это генерирует плоский массив только с функциями — в данном случае с текстом твита — который мы собираемся использовать для обучения нашего классификатора.

Шаг 2: подготовить набор данных

Теперь иметь необработанный текст и передавать его в классификатор не будет полезным или точным, поскольку каждый твит существенно отличается. К счастью, есть способы борьбы с текстом при попытке применить алгоритмы классификации или машинного обучения. Для этого примера мы собираемся использовать следующие два класса:

• Token Count Vectorizer : преобразует коллекцию образцов текста в вектор количества токенов. По сути, каждое слово в нашем твите становится уникальным числом и отслеживает количество вхождений слова в конкретном текстовом образце.
• Tf-idf Transformer : сокращение от частоты — обратная частота документа, это числовая статистика, предназначенная для отражения того, насколько важно слово для документа в коллекции или корпусе.

Давайте начнем с нашего текстового векторизатора:

 <?php
...
use Phpml\FeatureExtraction\TokenCountVectorizer;
use Phpml\Tokenization\WordTokenizer;

...
$vectorizer = new TokenCountVectorizer(new WordTokenizer());

$vectorizer->fit($samples);
$vectorizer->transform($samples);

Затем примените Tf-idf Transformer:

 <?php
...

use Phpml\FeatureExtraction\TfIdfTransformer;
...
$tfIdfTransformer = new TfIdfTransformer();

$tfIdfTransformer->fit($samples);
$tfIdfTransformer->transform($samples);

Наш массив сэмплов теперь находится в формате, где его легко понять с помощью нашего классификатора. Мы еще не закончили, нам нужно пометить каждый образец соответствующим настроением.

Шаг 3: Генерация учебного набора данных

К счастью, в PHP-ML эта потребность уже покрыта, и код довольно прост:

 <?php
...
use Phpml\Dataset\ArrayDataset;
...
$dataset = new ArrayDataset($samples, $dataset->getTargets());

 <?php
...
use Phpml\CrossValidation\StratifiedRandomSplit;
...
$randomSplit = new StratifiedRandomSplit($dataset, 0.1);

$trainingSamples = $randomSplit->getTrainSamples();
$trainingLabels     = $randomSplit->getTrainLabels();

$testSamples = $randomSplit->getTestSamples();
$testLabels      = $randomSplit->getTestLabels();

 <?php

namespace PhpmlExercise\Classification;
use Phpml\Classification\NaiveBayes;

class SentimentAnalysis
{
    protected $classifier;

    public function __construct()
    {
        $this->classifier = new NaiveBayes();
    }
    public function train($samples, $labels)
    {
        $this->classifier->train($samples, $labels);
    }
}

 <?php
...
class SentimentAnalysis
{
...
    public function predict($samples)
    {
        return $this->classifier->predict($samples);
    }
}

 <?php
...
$predictedLabels = $classifier->predict($testSamples);

 <?php
...
use Phpml\Metric\Accuracy;
...
echo 'Accuracy: '.Accuracy::score($testLabels, $predictedLabels);

 Accuracy: 0.73651877133106%