Это много взаимосвязанных данных! Что делает его идеальным кандидатом на Neo4j.

Все объекты (исполнители, лейблы, релизы и т. Д.) Идентифицируются по их
идентификатору MusicBrainz (MBID. Вероятно, он наиболее близок к универсальному UUID для индустрии звукозаписи. Чтобы найти MBID своей любимой группы, выполните поиск на главной странице сайта). В строке поиска вверху щелкните по нужному исполнителю (может быть много омонимов), а в адресной строке вашего браузера MBID является последней частью URL-адреса. Например, это URL-адрес страницы Maxïmo Park на MusicBrainz:

Лицензия данных Musicbrainz

Основные данные

Основные данные, как отмечалось выше, лицензируются в рамках
CC0 , который фактически помещает данные в общественное достояние. Это означает, что каждый может загружать и использовать основные данные любым удобным для них способом. Никаких ограничений, никаких забот!

Начиная с 2003 года
[10] Основные данные MusicBrainz ( в художники, записи, альбомы и т.д.) находятся в
общественном достоянии , и дополнительного контента, включая данные модерации ( по сути каждый
оригинальный контент , пополняемая пользователями и его проработок), находится под
Лицензия Creative Commons
CC-BY-NC-SA -2.0.

Реляционная модель

Как бы выглядели данные MusicBrainz на графике?

Neo4j Musicbrainz Схема

Как импортировать данные MusicBrainz в Neo4j?

Шаг 1 — получить локальную копию базы данных

Шаг 2 — Экспорт данных в CSV / TSV с помощью sql2graph

Как работает sql2graph

Entity('artist',
 [
   IntegerProperty('pk', Column('id')),
   Property('mbid', Column('gid')),
   Property('disambiguation', Column('comment')),
   Property('name', Column('name')),
 ],

• 
  имя, здесь «исполнитель», которое станет меткой: Artist для узлов.
  

• 
  список экземпляров Property (), которые также имеют имя, которое станет свойствами узла
  
• 
  обязательное свойство первичного ключа, называемое «pk», которое используется sql2graph для разрешения связей между сущностями при создании отношений; обычно это имя столбца «id» в таблицах SQL (это свойство «pk» не очень полезно в конечном графике)
  

А как насчет отношений?

Entity('artist',
 [
   IntegerProperty('pk', Column('id')),
   Property('mbid', Column('gid')),
   Property('disambiguation', Column('comment')),
   Property('name', Column('name', ForeignColumn('artist_name', 'name'))),
 ],
 [
   Relation(
     'FROM_AREA',
     start=Reference('artist', Column('id')),
     end=Reference('area', Column('area')),
     properties=[]
   ),
   Relation(
     'BEGAN_IN_AREA',
     start=Reference('artist', Column('id')),
     end=Reference('area', Column('begin_area')),
     properties=[]
   ),
   Relation(
     'ENDED_IN_AREA',
     start=Reference('artist', Column('id')),
     end=Reference('area', Column('end_area')),
     properties=[]
   ),
 ],
),

• 
  «ОТ»: представляет связь между таблицей «художник» и таблицей «площадь», представляющую, откуда художник (родился или построил свою карьеру)
  
• 
  «BEGAN_IN» и «ENDED_IN» также представляют собой связь между таблицами «Artist» и «Area», но они представляют место рождения и место смерти исполнителя (или группы иногда)
  

Entity('release_label',
  [],
  [
    Relation(
     'RELEASED_ON',
     start=Reference('release', Column('release')),
     end=Reference('label', Column('label')),
     properties=[
       Property('catalog_number', Column('catalog_number')),
     ]
   ),
 ]
),

Экспорт узлов и отношений с использованием запросов SQL

• 
  во-первых, он создает временную таблицу (в самой СУБД), сопоставляющую значения первичных ключей объекта с идентификаторами узлов в Neo4j. Эта таблица SQL имеет 3 столбца: «entity», «pk» и «node_id»
  
• 
  затем он сбрасывает данные узлов для всех таблиц, для которых вы определили свойства узлов в формате TSV (PostgreSQL может сделать это, см.
  http://maxdemarzi.com/2012/02/28/batch-importer-part-2/ )
  
• 
  наконец, он экспортирует отношения как TSV, используя экземпляры Relation () и Property (), которые вы определили в приведенном выше сопоставлении, и обрабатывает идентификаторы узлов с использованием временной таблицы.
  

«О, чувак, но у MusicBrainz так много таблиц … Нужно ли мне самому определять эту вещь для перевода схемы? а в питоне ?? На самом деле мы сделали всю работу за вас. Либо настройте отображение, чтобы добавить или удалить несколько свойств или сущностей, и запустите sql2graph… или просто захватите сценарий экспорта SQL и отправьте его в psql.

•  Столбцы «mbid» будут проиндексированы в индексе «mb_exact»,  а столбцы «type» станут метками на узлах.
  
• 
  «Имя» будет проиндексировано в индексе «mb_fulltext»
  

Шаг 3 — Импорт с использованием пакетного импорта Neo4j

batch_import.keep_db=true
batch_import.mapdb_cache.disable=true
batch_import.node_index.mb_fulltext=fulltext
batch_import.node_index.mb_exact=exact
batch_import.csv.quotes=false
cache_type=none
use_memory_mapped_buffers=true
neostore.nodestore.db.mapped_memory=300M
neostore.relationshipstore.db.mapped_memory=3G
neostore.propertystore.db.mapped_memory=500M
neostore.propertystore.db.strings.mapped_memory=500M
neostore.propertystore.db.arrays.mapped_memory=0M
neostore.propertystore.db.index.keys.mapped_memory=15M
neostore.propertystore.db.index.mapped_memory=15M

При этом мы можем импортировать файлы (используя кодировку UTF-8) с помощью:

cd / path / to / jexp / batch-import
MAVEN_OPTS = «- server -Xmx10G -Dfile.encoding = UTF-8» mvn exec: java -Dfile .encoding = UTF-8 -Dexec.mainClass = «org.neo4j.batchimport.Importer» -Dexec.args = «batch.properties musicbrainz.db /tmp/musicbrainz__nodes__full.csv /tmp/musicbrainz__rels__full.csv: get: ccs»

:

Использование java -jar batchimport.jar data / dir node.csv relationss.csv [node_index имя-индекса-узла полный текст | точные узлы-индексы.csv rel_index-имя-индекса полное имя-текста | точное значение rels_index.csv ….]

Использование существующего файла конфигурации

Импорт musicbrainz__nodes__full.csv …

………………………………………….. ………………………………………….. 512172 мс для 10000000

………………………………………….. ………………………………………….. 608539 мс для 10000000

………………………………………….. ………………………………………….. 588464 мс для 10000000

………………………………………….. ..

Импорт 35294004 узлов занял 2057 секунд

Импорт musicbrainz__rels__full.csv …

………………………………………….. ………………………………………….. 438932 мс для 10000000

………………………………………….. ………………………………………….. 338665 мс для 10000000

………………………………………….. ………………………………………….. 194668 мс на 10000000

………………………………………….. ………………………………………….. 421573 мс для 10000000

………………………………………….. ………………………………………….. 535700 мс для 10000000

………………………………………….. ………………………………………….. 529039 мс для 10000000

………………………………………….. ………………………………………….. 634684 мс на 10000000

…………………..

Импорт 72373185 отношений занял 3249 секунд

Общее время импорта: 5595 секунд

Пол @ хриплый: / путь / к / Neo4j / MusicBrainz $

Теперь давайте нацелим наш сервер Neo4j на нашу недавно созданную базу данных Musicbrainz в ее
neo4j-server.properties и рассмотрим пример запроса: Вуаля!

Британские артисты подписались на американских звукозаписывающих лейблах

Запрос Cypher для этого результата:

START usa=node:mb_fulltext(name="United States"),
gb=node:mb_fulltext(name="United Kingdom")
MATCH (gb:Country), (gb:Country),
(a:Artist)-[:FROM_AREA]-(gb),
(a:Artist)-[:RECORDING_CONTRACT]-(l:Label),
(l)-[:FROM_AREA]-(usa)
RETURN a,l,usa,gb

В следующем посте мы рассмотрим несколько интересных запросов по этим данным, следите за обновлениями!

Большое спасибо Michael Hunger, Peter Neubauer, Max DeMarzi и фантастическому сообществу Neo4j за помощь и вдохновение для этого блога!