Аудит MySQL с помощью McAfee и MongoDB

Автор Мэтью Бём

Приветствую всех! Давайте обсудим стороннее решение аудита для MySQL и то, как мы можем использовать MongoDB, чтобы разобраться во всех этих данных.

Плагин McAfee MySQL Audit отлично справляется с низкоуровневыми операциями на сервере MySQL. Это делается через некоторые нестандартные API, поэтому установка и настройка плагина могут быть немного сложными. Информация об аудите по умолчанию хранится в формате JSON, в текстовом файле.

Существует 1 объект JSON для каждого действия, которое происходит в MySQL. Если пользователь входит в систему, есть объект. Если этот пользователь запрашивает таблицу, есть объект. Представьте себе 1000 активных соединений из приложения, каждое из которых выполняет 2 запроса в секунду. Это 2000 объектов JSON в секунду, записываемых в журнал аудита. Через 24 часа это будет почти 173 000 000 записей аудита!

Как можно понять, сколько объектов JSON? Один из вариантов — написать собственный синтаксический анализатор в $ YOUR_FAVORITE_LANGUAGE, преобразовать JSON в операторы INSERT и записать данные обратно в MySQL (Примечание. Если вы сделаете это, вы можете внести в белый список эту таблицу в плагине, чтобы эти INSERT не повторялись аудит вошел). Или мы можем использовать систему, предназначенную для импорта, хранения и запроса объектов JSON, такую ​​как MongoDB.

Установите плагин McAfee Audit

Сначала нам нужно скачать исходный код для плагина и скачать исходный код для конкретной версии MySQL, которую вы используете. Это не полное пошаговое руководство по установке этого плагина; просто несколько очков высокого уровня.

Мой клиент для этого упражнения все еще находится на Percona Server 5.1.73, поэтому нам нужен исходный текст для этой ТОЧНОЙ версии от percona.com .

Мы можем клонировать mcafee / mysql-Audit,  используя git.

Разархивируйте исходный код MySQL и скомпилируйте его; просто не делайте «make install», только «./configure» и «make» необходимы.

Теперь скомпилируйте плагин. Вы можете прочитать подробные инструкции .

Этот следующий шаг сложен и действительно необходим, только если вы не используете vanilla MySQL. Это обязательный шаг, чтобы плагин мог использовать те нестандартные API, которые я упоминал ранее. Вам нужно извлечь смещения  для работы плагина. Следуйте инструкциям.

Как только это будет сделано, вы можете:

INSTALL PLUGIN AUDIT SONAME 'libaudit_plugin.so';

Если плагин не загружается, проверьте журнал ошибок MySQL на предмет причины и обратитесь к документации плагина о том, как решить.

Теперь нам нужно включить ведение журнала аудита, потому что по умолчанию ничего не включено.

SET GLOBAL audit_record_cmds = "select,insert,update,delete";
SET GLOBAL audit_json_file = ON;
SET GLOBAL audit_record_objs = "*.*,{}";
SET GLOBAL audit_force_record_logins = ON;

dbpath=/opt/mongo

[percona@mysql-host ~]$ scp -i .ssh/amazon.pem /data/mysql/mysql-audit.json root@54.177.22.22:/tmp/

[root@ip-10-255-8-15 ~]# mongoimport --db test --collection audit --drop --file /tmp/mysql-audit.json

{
"_id" : ObjectId("5571ea51b1e714b8d6d804c8"),
"msg-type" : "activity",
"date" : "1433438419388",
"thread-id" : "10214180",
"query-id" : "295711011",
"user" : "activebatchSVC",
"priv_user" : "activebatchSVC",
"host" : "ecn.corp",
"ip" : "10.2.8.9",
"cmd" : "select",
"objects" : [
{
"db" : "",
"name" : "*",
"obj_type" : "TABLE"
},
{
"db" : "risque",
"name" : "markets_source_tfutvol_eab",
"obj_type" : "VIEW"
},
{
"db" : "historical",
"name" : "futureopt",
"obj_type" : "TABLE"
},
{
"db" : "risque",
"name" : "securities_futures_optdef",
"obj_type" : "TABLE"
},
{
"db" : "risque",
"name" : "markets_source_tfutvol_eab",
"obj_type" : "VIEW"
},
{
"db" : "historical",
"name" : "futureopt",
"obj_type" : "TABLE"
},
{
"db" : "risque",
"name" : "securities_futures_optdef",
"obj_type" : "TABLE"
}
],
"query" : "SELECT far, bar, baz FROM mytable"
}

db.audit.update({}, { $rename: { "query": "qry"} }, false, true);

> db.audit.aggregate([ { $group: { "_id": "$cmd", "count": { $sum: 1 } } } ]);
{ "_id" : "Failed Login", "count" : 2 }
{ "_id" : "select", "count" : 458366 }
{ "_id" : "Connect", "count" : 455090 }
{ "_id" : "insert", "count" : 2 }
{ "_id" : "Quit", "count" : 445025 }
{ "_id" : null, "count" : 1 }

SELECT cmd, count(cmd) FROM audit GROUP BY cmd;

> db.audit.aggregate([ { $group: { "_id": "$user", "count": { $sum: 1 } } } ]);
{ "_id" : "baw", "count" : 1883 }
{ "_id" : "eq_shrd", "count" : 1 }
{ "_id" : "reski", "count" : 3452 }
{ "_id" : "alin", "count" : 1 }
{ "_id" : "oey", "count" : 62 }
{ "_id" : "dule", "count" : 380062 }
{ "_id" : "ashi", "count" : 802 }
{ "_id" : "tech_shrd", "count" : 392464 }

> db.audit.aggregate([
... { $match: { "user": "tech_shrd" } },
... { $group: { "_id": "$cmd", "count": { $sum: 1 } } }
... ]);
{ "_id" : "select", "count" : 132970 }
{ "_id" : "Connect", "count" : 133919 }
{ "_id" : "Quit", "count" : 125575 }

SELECT cmd, count(cmd) FROM audit WHERE user = 'tech_shrd';

> db.audit.aggregate([
... { $match: { "cmd": "insert" } },
... { $group: { "_id": "$user", "count": { $sum: 1 } } }
... ]);
{ "_id" : "graz", "count" : 2 }

> db.audit.find({ "cmd": "insert" });

SELECT user, count(user) FROM audit WHERE cmd = 'insert';
SELECT * FROM audit WHERE cmd = 'insert';

> db.audit.aggregate(
... { $unwind: "$objects" },
... { $group: { _id : "$objects.name", count: { $sum: 1 } } },
... { $sort: { "count": -1 } }
... );
{ "_id" : "*", "count" : 17359 }
{ "_id" : "swaps", "count" : 4392 }
{ "_id" : "futureopt", "count" : 3666 }
...(more)

> db.audit.update({ }, { $pull: { "objects": { "name": "*" } } }, false, true);