Остерегайтесь жаждущей трубы
Хотя мне нравится, как легко команда Cypher LOAD CSV позволяет получать данные в Neo4j, в настоящее время она нарушает правило наименьшего удивления в том, что она охотно загружает все строки для некоторых запросов, даже если они используют периодическую фиксацию .
Это то, что мой коллега Майкл отметил во второй части своего блога, объясняющей, как успешно использовать LOAD CSV :
Самая большая проблема, с которой столкнулись люди, даже когда следовал совету, который я дал ранее, заключалась в том, что при большом импорте, превышающем миллион строк, Cypher столкнулся с ситуацией нехватки памяти.
Это не было связано с размерами коммитов , поэтому это произошло даже с PERIODIC COMMIT небольших партий.
Недавно я провел несколько дней, импортируя данные в Neo4j на машине с Windows с 4 ГБ ОЗУ, поэтому я столкнулся с этой проблемой даже раньше, чем предложил Майкл.
Майкл объясняет, как определить, страдает ли ваш запрос от неожиданной нетерпеливой оценки:
Если вы профилируете этот запрос, вы увидите, что в плане запроса есть шаг «Стремление».
Вот где происходит «извлечение всех данных».
Вы можете профилировать запросы, добавив префикс слова «ПРОФИЛЬ». Вам нужно будет выполнить запрос в консоли / webadmin в веб-браузере или с помощью оболочки Neo4j .
Я сделал это для своих запросов и смог идентифицировать шаблоны запросов, которые оцениваются охотно, а в некоторых случаях мы можем обойти это.
Мы будем использовать набор данных Northwind, чтобы продемонстрировать, как труба Eager может проникнуть в наши запросы, но учтите, что этот набор данных достаточно мал, чтобы не вызывать проблем.
Вот как выглядит строка в файле:
|
1
2
3
|
$ head -n 2 data/customerDb.csvOrderID,CustomerID,EmployeeID,OrderDate,RequiredDate,ShippedDate,ShipVia,Freight,ShipName,ShipAddress,ShipCity,ShipRegion,ShipPostalCode,ShipCountry,CustomerID,CustomerCompanyName,ContactName,ContactTitle,Address,City,Region,PostalCode,Country,Phone,Fax,EmployeeID,LastName,FirstName,Title,TitleOfCourtesy,BirthDate,HireDate,Address,City,Region,PostalCode,Country,HomePhone,Extension,Photo,Notes,ReportsTo,PhotoPath,OrderID,ProductID,UnitPrice,Quantity,Discount,ProductID,ProductName,SupplierID,CategoryID,QuantityPerUnit,UnitPrice,UnitsInStock,UnitsOnOrder,ReorderLevel,Discontinued,SupplierID,SupplierCompanyName,ContactName,ContactTitle,Address,City,Region,PostalCode,Country,Phone,Fax,HomePage,CategoryID,CategoryName,Description,Picture10248,VINET,5,1996-07-04,1996-08-01,1996-07-16,3,32.38,Vins et alcools Chevalier,59 rue de l'Abbaye,Reims,,51100,France,VINET,Vins et alcools Chevalier,Paul Henriot,Accounting Manager,59 rue de l'Abbaye,Reims,,51100,France,26.47.15.10,26.47.15.11,5,Buchanan,Steven,Sales Manager,Mr.,1955-03-04,1993-10-17,14 Garrett Hill,London,,SW1 8JR,UK,(71) 555-4848,3453,\x,"Steven Buchanan graduated from St. Andrews University, Scotland, with a BSC degree in 1976. Upon joining the company as a sales representative in 1992, he spent 6 months in an orientation program at the Seattle office and then returned to his permanent post in London. He was promoted to sales manager in March 1993. Mr. Buchanan has completed the courses ""Successful Telemarketing"" and ""International Sales Management."" He is fluent in French.",2,http://accweb/emmployees/buchanan.bmp,10248,11,14,12,0,11,Queso Cabrales,5,4,1 kg pkg.,21,22,30,30,0,5,Cooperativa de Quesos 'Las Cabras',Antonio del Valle Saavedra,Export Administrator,Calle del Rosal 4,Oviedo,Asturias,33007,Spain,(98) 598 76 54,,,4,Dairy Products,Cheeses,\x |
Мердж, Мердж, Мердж
Первое, что мы хотим сделать, это создать узел для каждого сотрудника и каждого заказа, а затем создать отношения между ними.
Мы могли бы начать со следующего запроса:
|
1
2
3
4
5
|
USING PERIODIC COMMIT 1000LOAD CSV WITH HEADERS FROM "file:/Users/markneedham/projects/neo4j-northwind/data/customerDb.csv" AS rowMERGE (employee:Employee {employeeId: row.EmployeeID})MERGE (order:Order {orderId: row.OrderID})MERGE (employee)-[:SOLD]->(order) |
Это делает работу, но если мы профилируем запрос так …
|
1
2
3
4
5
|
PROFILE LOAD CSV WITH HEADERS FROM "file:/Users/markneedham/projects/neo4j-northwind/data/customerDb.csv" AS rowWITH row LIMIT 0MERGE (employee:Employee {employeeId: row.EmployeeID})MERGE (order:Order {orderId: row.OrderID})MERGE (employee)-[:SOLD]->(order) |
… Мы заметим «Стремление», скрывающееся на третьей строке:
|
01
02
03
04
05
06
07
08
09
10
|
==> +----------------+------+--------+----------------------------------+-----------------------------------------+==> | Operator | Rows | DbHits | Identifiers | Other |==> +----------------+------+--------+----------------------------------+-----------------------------------------+==> | EmptyResult | 0 | 0 | | |==> | UpdateGraph(0) | 0 | 0 | employee, order, UNNAMED216 | MergePattern |==> | Eager | 0 | 0 | | |==> | UpdateGraph(1) | 0 | 0 | employee, employee, order, order | MergeNode; :Employee; MergeNode; :Order |==> | Slice | 0 | 0 | | { AUTOINT0} |==> | LoadCSV | 1 | 0 | row | |==> +----------------+------+--------+----------------------------------+-----------------------------------------+ |
Вы заметите, что когда мы профилируем каждый запрос, мы удаляем раздел периодической фиксации и добавляем ‘WITH row LIMIT 0’. Это позволяет нам генерировать достаточно плана запроса, чтобы идентифицировать оператор ‘Eager’ без фактического импорта каких-либо данных.
Мы хотим разделить этот запрос на два, чтобы он мог быть обработан без лишних усилий:
|
1
2
3
4
5
|
USING PERIODIC COMMIT 1000LOAD CSV WITH HEADERS FROM "file:/Users/markneedham/projects/neo4j-northwind/data/customerDb.csv" AS rowWITH row LIMIT 0MERGE (employee:Employee {employeeId: row.EmployeeID})MERGE (order:Order {orderId: row.OrderID}) |
|
1
2
3
4
5
6
7
8
|
==> +-------------+------+--------+----------------------------------+-----------------------------------------+==> | Operator | Rows | DbHits | Identifiers | Other |==> +-------------+------+--------+----------------------------------+-----------------------------------------+==> | EmptyResult | 0 | 0 | | |==> | UpdateGraph | 0 | 0 | employee, employee, order, order | MergeNode; :Employee; MergeNode; :Order |==> | Slice | 0 | 0 | | { AUTOINT0} |==> | LoadCSV | 1 | 0 | row | |==> +-------------+------+--------+----------------------------------+-----------------------------------------+ |
Теперь, когда мы создали сотрудников и заказы, мы можем объединить их:
|
1
2
3
4
5
|
USING PERIODIC COMMIT 1000LOAD CSV WITH HEADERS FROM "file:/Users/markneedham/projects/neo4j-northwind/data/customerDb.csv" AS rowMATCH (employee:Employee {employeeId: row.EmployeeID})MATCH (order:Order {orderId: row.OrderID})MERGE (employee)-[:SOLD]->(order) |
|
01
02
03
04
05
06
07
08
09
10
11
12
|
==> +----------------+------+--------+-------------------------------+-----------------------------------------------------------+==> | Operator | Rows | DbHits | Identifiers | Other |==> +----------------+------+--------+-------------------------------+-----------------------------------------------------------+==> | EmptyResult | 0 | 0 | | |==> | UpdateGraph | 0 | 0 | employee, order, UNNAMED216 | MergePattern |==> | Filter(0) | 0 | 0 | | Property(order,orderId) == Property(row,OrderID) |==> | NodeByLabel(0) | 0 | 0 | order, order | :Order |==> | Filter(1) | 0 | 0 | | Property(employee,employeeId) == Property(row,EmployeeID) |==> | NodeByLabel(1) | 0 | 0 | employee, employee | :Employee |==> | Slice | 0 | 0 | | { AUTOINT0} |==> | LoadCSV | 1 | 0 | row | |==> +----------------+------+--------+-------------------------------+-----------------------------------------------------------+ |
Не нетерпелив в поле зрения!
Матч, матч, матч, слияния, слияния
Если мы перенесемся на несколько шагов вперед, возможно, теперь мы произвели рефакторинг нашего скрипта импорта до такой степени, что мы создаем наши узлы в одном запросе и связи в другом запросе.
Наш запрос на создание работает как ожидалось:
|
1
2
3
4
5
|
USING PERIODIC COMMIT 1000LOAD CSV WITH HEADERS FROM "file:/Users/markneedham/projects/neo4j-northwind/data/customerDb.csv" AS rowMERGE (employee:Employee {employeeId: row.EmployeeID})MERGE (order:Order {orderId: row.OrderID})MERGE (product:Product {productId: row.ProductID}) |
|
1
2
3
4
5
6
7
8
|
==> +-------------+------+--------+----------------------------------------------------+--------------------------------------------------------------+==> | Operator | Rows | DbHits | Identifiers | Other |==> +-------------+------+--------+----------------------------------------------------+--------------------------------------------------------------+==> | EmptyResult | 0 | 0 | | |==> | UpdateGraph | 0 | 0 | employee, employee, order, order, product, product | MergeNode; :Employee; MergeNode; :Order; MergeNode; :Product |==> | Slice | 0 | 0 | | { AUTOINT0} |==> | LoadCSV | 1 | 0 | row | |==> +-------------+------+--------+----------------------------------------------------+------------------------------------------------------------ |
Теперь у нас есть сотрудники, продукты и заказы на графике. Теперь давайте создадим отношения между трио:
|
1
2
3
4
5
6
7
|
USING PERIODIC COMMIT 1000LOAD CSV WITH HEADERS FROM "file:/Users/markneedham/projects/neo4j-northwind/data/customerDb.csv" AS rowMATCH (employee:Employee {employeeId: row.EmployeeID})MATCH (order:Order {orderId: row.OrderID})MATCH (product:Product {productId: row.ProductID})MERGE (employee)-[:SOLD]->(order)MERGE (order)-[:PRODUCT]->(product) |
Если мы опишем это, мы заметим, что Eager снова пробрался!
|
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
|
==> +----------------+------+--------+-------------------------------+-----------------------------------------------------------+==> | Operator | Rows | DbHits | Identifiers | Other |==> +----------------+------+--------+-------------------------------+-----------------------------------------------------------+==> | EmptyResult | 0 | 0 | | |==> | UpdateGraph(0) | 0 | 0 | order, product, UNNAMED318 | MergePattern |==> | Eager | 0 | 0 | | |==> | UpdateGraph(1) | 0 | 0 | employee, order, UNNAMED287 | MergePattern |==> | Filter(0) | 0 | 0 | | Property(product,productId) == Property(row,ProductID) |==> | NodeByLabel(0) | 0 | 0 | product, product | :Product |==> | Filter(1) | 0 | 0 | | Property(order,orderId) == Property(row,OrderID) |==> | NodeByLabel(1) | 0 | 0 | order, order | :Order |==> | Filter(2) | 0 | 0 | | Property(employee,employeeId) == Property(row,EmployeeID) |==> | NodeByLabel(2) | 0 | 0 | employee, employee | :Employee |==> | Slice | 0 | 0 | | { AUTOINT0} |==> | LoadCSV | 1 | 0 | row | |==> +----------------+------+--------+-------------------------------+-----------------------------------------------------------+ |
В этом случае Eager происходит во время нашего второго звонка в MERGE, как Майкл указал в своем посте:
Проблема заключается в том, что в пределах одного оператора Cypher вы должны в дальнейшем изолировать изменения, которые влияют на совпадения, например, когда вы СОЗДАЕТЕ узлы с меткой, которые неожиданно сопоставляются более поздней операцией MATCH или MERGE.
В этом случае мы можем обойти эту проблему, создав отдельные запросы для создания отношений:
|
1
2
3
4
|
LOAD CSV WITH HEADERS FROM "file:/Users/markneedham/projects/neo4j-northwind/data/customerDb.csv" AS rowMATCH (employee:Employee {employeeId: row.EmployeeID})MATCH (order:Order {orderId: row.OrderID})MERGE (employee)-[:SOLD]->(order) |
|
01
02
03
04
05
06
07
08
09
10
11
12
|
==> +----------------+------+--------+-------------------------------+-----------------------------------------------------------+==> | Operator | Rows | DbHits | Identifiers | Other |==> +----------------+------+--------+-------------------------------+-----------------------------------------------------------+==> | EmptyResult | 0 | 0 | | |==> | UpdateGraph | 0 | 0 | employee, order, UNNAMED236 | MergePattern |==> | Filter(0) | 0 | 0 | | Property(order,orderId) == Property(row,OrderID) |==> | NodeByLabel(0) | 0 | 0 | order, order | :Order |==> | Filter(1) | 0 | 0 | | Property(employee,employeeId) == Property(row,EmployeeID) |==> | NodeByLabel(1) | 0 | 0 | employee, employee | :Employee |==> | Slice | 0 | 0 | | { AUTOINT0} |==> | LoadCSV | 1 | 0 | row | |==> +----------------+------+--------+-------------------------------+-----------------------------------------------------------+ |
|
1
2
3
4
5
|
USING PERIODIC COMMIT 1000LOAD CSV WITH HEADERS FROM "file:/Users/markneedham/projects/neo4j-northwind/data/customerDb.csv" AS rowMATCH (order:Order {orderId: row.OrderID})MATCH (product:Product {productId: row.ProductID})MERGE (order)-[:PRODUCT]->(product) |
|
01
02
03
04
05
06
07
08
09
10
11
12
|
==> +----------------+------+--------+------------------------------+--------------------------------------------------------+==> | Operator | Rows | DbHits | Identifiers | Other |==> +----------------+------+--------+------------------------------+--------------------------------------------------------+==> | EmptyResult | 0 | 0 | | |==> | UpdateGraph | 0 | 0 | order, product, UNNAMED229 | MergePattern |==> | Filter(0) | 0 | 0 | | Property(product,productId) == Property(row,ProductID) |==> | NodeByLabel(0) | 0 | 0 | product, product | :Product |==> | Filter(1) | 0 | 0 | | Property(order,orderId) == Property(row,OrderID) |==> | NodeByLabel(1) | 0 | 0 | order, order | :Order |==> | Slice | 0 | 0 | | { AUTOINT0} |==> | LoadCSV | 1 | 0 | row | |==> +----------------+------+--------+------------------------------+--------------------------------------------------------+ |
MERGE, SET
Я стараюсь сделать скрипты LOAD CSV как можно более идемпотентными, чтобы, если мы добавим больше строк или столбцов данных в наш CSV, мы могли бы повторно выполнить запрос, не создавая заново все.
Это может привести вас к следующей схеме, в которой мы создаем поставщиков:
|
1
2
3
4
|
USING PERIODIC COMMIT 1000LOAD CSV WITH HEADERS FROM "file:/Users/markneedham/projects/neo4j-northwind/data/customerDb.csv" AS rowMERGE (supplier:Supplier {supplierId: row.SupplierID})SET supplier.companyName = row.SupplierCompanyName |
Мы хотим убедиться, что есть только один поставщик с таким ID поставщика, но мы можем постепенно добавлять новые свойства и принять решение просто заменить все, используя команду «SET». Если мы профилируем этот запрос, Eager скрывается:
|
01
02
03
04
05
06
07
08
09
10
|
==> +----------------+------+--------+--------------------+----------------------+==> | Operator | Rows | DbHits | Identifiers | Other |==> +----------------+------+--------+--------------------+----------------------+==> | EmptyResult | 0 | 0 | | |==> | UpdateGraph(0) | 0 | 0 | | PropertySet |==> | Eager | 0 | 0 | | |==> | UpdateGraph(1) | 0 | 0 | supplier, supplier | MergeNode; :Supplier |==> | Slice | 0 | 0 | | { AUTOINT0} |==> | LoadCSV | 1 | 0 | row | |==> +----------------+------+--------+--------------------+----------------------+ |
Мы можем обойти это за счет небольшого дублирования, используя «ON CREATE SET» и «ON MATCH SET»:
|
1
2
3
4
5
|
USING PERIODIC COMMIT 1000LOAD CSV WITH HEADERS FROM "file:/Users/markneedham/projects/neo4j-northwind/data/customerDb.csv" AS rowMERGE (supplier:Supplier {supplierId: row.SupplierID})ON CREATE SET supplier.companyName = row.SupplierCompanyNameON MATCH SET supplier.companyName = row.SupplierCompanyName |
|
1
2
3
4
5
6
7
8
|
==> +-------------+------+--------+--------------------+----------------------+==> | Operator | Rows | DbHits | Identifiers | Other |==> +-------------+------+--------+--------------------+----------------------+==> | EmptyResult | 0 | 0 | | |==> | UpdateGraph | 0 | 0 | supplier, supplier | MergeNode; :Supplier |==> | Slice | 0 | 0 | | { AUTOINT0} |==> | LoadCSV | 1 | 0 | row | |==> +-------------+------+--------+--------------------+----------------------+ |
С набором данных, с которым я работал, я смог избежать исключений OutOfMemory в некоторых случаях и сократить время, затрачиваемое на выполнение запроса, в 3 раза.
Со временем я ожидаю, что все эти сценарии будут рассмотрены, но начиная с Neo4j 2.1.5, эти шаблоны я определил как чрезмерно нетерпеливые.
Если вам известны какие-либо другие, дайте мне знать, и я могу добавить их в пост или написать вторую часть.
| Ссылка: | Neo4j: Cypher — Избегайте страстного желания от нашего партнера по JCG Марка Нидхэма в блоге Марка Нидхэма . |