Моделирование тем: выработка оптимального количества тем

В моем продолжающемся исследовании моделирования тем я наткнулся на блог The Programming Historian и пост, показывающий, как извлечь темы из корпуса, используя молоток библиотеки Java.

Инструкции в блоге позволяют легко приступить к работе, но, как и в случае с другими библиотеками, которые я использовал, вы должны указать, из каких тем состоит корпус. Я никогда не уверен, какое значение выбрать, но авторы делают следующее предложение:

Как узнать количество тем для поиска? Есть ли естественное количество тем? Мы обнаружили, что нужно запустить обучающие темы с различным количеством тем, чтобы увидеть, как разбивается файл композиции. Если мы получим большинство наших оригинальных текстов по очень ограниченному количеству тем, то мы воспринимаем это как сигнал о том, что нам нужно увеличить количество тем; настройки были слишком грубыми.

Существуют вычислительные способы поиска этого, включая использование команды MALLETs hlda, но для читателя этого урока, вероятно, будет просто быстрее пройти через ряд итераций (но для получения дополнительной информации см. Griffiths, TL, & Steyvers, M. ( 2004). Поиск научных тем . Труды Национальной академии наук, 101, 5228-5235).

Так как у меня еще не было времени погрузиться в газету или изучить, как использовать соответствующую опцию в молотке, я подумал, что я внесу некоторые изменения в стоп-слова и количество тем и посмотрю, как это получилось.

Насколько я понимаю, идея состоит в том, чтобы попытаться получить равномерное распределение тем -> документов, то есть мы не хотим, чтобы все документы имели одинаковую тему, в противном случае любые вычисления сходства тем, которые мы проводим, не будут такими интересными.

Я попытался запустить молоток с 10, 15, 20 и 30 темами, а также поменял используемые стоп-слова. У меня была одна версия, в которой только что были удалены главные герои и слово «рассказчик», и другая, где я отбирал 20% лучших слов по вхождению и любые слова, которые появлялись менее 10 раз.

Причиной для этого было то, что он должен идентифицировать интересные фразы в эпизодах лучше, чем TF / IDF, а не просто выбирать самые популярные слова во всем корпусе.

Я использовал молоток из командной строки и запускал его на две части.

1. Генерация модели
2. Отработать распределение тем и документов на основе гиперпараметров

Я написал сценарий, чтобы выручить меня:

Как видите, этот скрипт сначала генерирует несколько моделей из текстовых файлов в ‘mallet-2.0.7 / sample-data / himym’ — в каждом эпизоде ​​HIMYM есть один файл. Затем мы используем эту модель для создания тематических моделей разных размеров.

На выходе два файла; одна содержит список тем, а другая описывает процент слов в каждом документе из каждой темы.

Вывод немного сложен для понимания сам по себе, поэтому я немного постобработал с использованием панд, а затем прогнал результаты этого через matplotlib, чтобы увидеть распределение документов по разным темам с разными стоп-словами. Вы можете увидеть сценарий здесь .

Я получил следующую таблицу:

С левой стороны мы используем больше стоп-слов, а справа только основные. Для большинства вариантов есть одна или две темы, к которым относится большинство документов, но, что интересно, наиболее равномерное распределение кажется, когда у нас мало тем.

Вот основные слова для самых популярных тем слева:

15 тем

20 тем

30 тем

Все они содержат более или менее одинаковые слова, которые на первый взгляд кажутся довольно общими словами, поэтому я удивлен, что они не были исключены.

С правой стороны мы не удалили много слов, поэтому мы ожидаем, что распространенные слова в английском языке будут доминировать. Давайте посмотрим, если они делают:

10 тем

15 тем

20 тем

30 тем

Опять же, у нас есть похожие слова в каждом прогоне, и, как и ожидалось, все они довольно общие слова.

Мой вывод из этого исследования состоит в том, что я должен также изменить процент стоп-слов и посмотреть, приведет ли это к улучшению распределения.

Выделение очень распространенных слов, как мы делаем с левосторонними диаграммами, кажется, имеет смысл, хотя мне нужно выяснить, почему в каждой группе есть один выброс.

Авторы предполагают, что наличие большинства наших текстов в небольшом количестве тем означает, что нам нужно создавать больше их, поэтому я тоже буду исследовать это.

• Код на github и стенограммы, так что попробуйте и дайте мне знать, что вы думаете.