Использование GDELT 2 с PHP для анализа мира!

Визуализация

Когда я писал эту статью, я думал о дополнительной ценности, которую может иметь сценарийный подход к GDELT. Я думаю, что это тот факт, что вы имеете полный контроль над запросом и визуализацией! Будучи не слишком изобретательным, я решил создать график всех боев, о которых сообщалось за последние два дня, просто в качестве примера.

GDELT помогает вам создавать модные визуализации , но для них нет API. Тем не менее, веб-сайт показывает нам, с какими инструментами они были сделаны. Мы можем использовать те же инструменты для создания графиков сами.

Я выбрал карту тепла, потому что она лучше всего отражала мои намерения. В разделе «Вывод» я обнаружил, что он использует heatmap.js для создания наложения на Google Maps. Я скопировал код из heatmap.js в свой проект и настроил его под свои нужды.

Для использования Google Maps требуется ключ API. Вы можете получить один здесь .

Я поместил код для примера тепловой карты боев GDELT на Github .

Запрос выбирает географические координаты всех событий «бой» (серия из 190 кодов событий), добавленных между теперь и два дня назад, и группирует их по географическим координатам. Он принимает только корневые события, пытаясь отфильтровать релевантное от несущественного. Я также добавил SOURCEURL в мой выбор. Я использовал это для создания кликабельных маркеров на карте, показывающих при более глубоком уровне масштабирования, которые позволяют вам посетить исходную статью о событии.

 SELECT MAX(ActionGeo_Lat) as lat, MAX(ActionGeo_Long) as lng, COUNT(*) as count, MAX(SOURCEURL) as source, GROUP_CONCAT(UNIQUE(EventCode)) as codes FROM [gdelt-bq:gdeltv2.events] WHERE SqlDate > {$from} AND SqlDate < {$to} AND EventCode in ('190', '191','192', '193', '194', '195', '1951', '1952', '196') AND IsRootEvent = 1 AND ActionGeo_Lat IS NOT NULL AND ActionGeo_Long IS NOT NULL GROUP BY ActionGeo_Lat, ActionGeo_Long 

Я обнаружил, что многие события по-прежнему не имеют отношения к тому, что я имел в виду, поэтому, чтобы сделать это правильно, мне пришлось бы еще больше подправить свой запрос. Кроме того, многие статьи обрабатывали одно и то же событие, и я выбрал только одну из них для отображения на карте.

Что касается затрат? Этот пример запроса занимает всего несколько гигабайт для обработки. Поскольку он кэшируется, его нужно выполнять не чаще одного раза в день. Таким образом, он остается значительно ниже предела в 1 ТБ и не стоит мне ни копейки!

Слово предостережения

Будьте осторожны с наивным использованием данных, предоставляемых GDELT.

• Тот факт, что количество событий определенного явления увеличивается с годами, не означает, что это явление увеличивается. Это может означать, что стало доступно больше данных или что больше источников реагируют на это явление.
• Данные не проверены, ни один человек не выбрал соответствующие части из несущественных.
• Во многих случаях актеры неизвестны.

Вывод

GDELT, безусловно, предоставляет огромное количество информации. В этой статье я только поверхностно рассмотрел все идеи, проекты и инструменты, которые в нем содержатся. Веб-сайт GDELT предоставляет несколько способов создания визуализаций без необходимости кодирования.

Если вам нравится кодирование или вы считаете, что доступных инструментов недостаточно для ваших нужд, вы можете следовать приведенным выше советам. Поскольку GDELT доступен через BigQuery, легко извлечь нужную информацию с помощью простого SQL. Будьте осторожны, хотя! Использование BigQuery стоит денег, если вы не подготовили свои запросы хорошо и не использовали кеширование.

На этот раз я просто создал простую визуализацию запроса, зависящего от времени. На практике исследователь должен сделать гораздо больше настроек, чтобы получить абсолютно правильные результаты и отобразить их осмысленно.

Если эта статья вдохновила вас на создание нового PHP-приложения, поделитесь им с нами в разделе комментариев ниже. Мы хотели бы знать, как GDELT используется во всем мире.

Весь код из этого поста можно найти в соответствующем репозитории Github .