Автоматизация анализа логов на базе Elasticsearch

Автоматизация анализа логов на базе Elasticsearch

Схема реализации

Elasticsearch

Elasticsearch is a highly scalable open-source full-text search and analytics engine. It allows you to store, search, and analyze big volumes of data quickly and in near real time. It is generally used as the underlying engine/technology that powers applications that have complex search features and requirements.

Преимущества Elasticsearch● Лёгкая масштабируемость на больших объёмах

данных● Репликация данных● Высокая скорость работы● Удобный поисковый движок● Наличие API (Java API, JavaScript API, Groovy API, .

NET API, PHP API, Perl API, Python API, Ruby API)● Open source

Типовая структура данных в ELKIndex_0 Index_1 Index_n

node_0

node_1

node_n

0 1

2 3

nn-1

0 1

2

n-1

3

n

0

2

n-1

3

n

1

Logstash & Kibana?Logstash

Преимущества:● Высокая производительность● Кроссплатформенность (Win &

Linux)

Недостатки:● Java на всех источниках

событий● Высокое потребление памяти

KibanaПреимущества:● Визуализация данных● Удобный поиск

Недостатки:● Отсутствие автоматического

анализа событий● Нет возможности настроить

оповещения

Обработчик данных. Logparser.● Кроссплатформенность (Win & Linux) ● Фильтрация данных● Нормализация выходных данных● Приемлемая скорость работы● Поиск файлов по маске● Потребление небольшого количества

ресурсов памяти● Логирование ошибок

Back-end

● Обработка событий в режиме реального времени

● Оповещение по почте● Дублирование инцидентов в отдельный

индекс

IOA/IOC и RULES

IOA/IOC – простые списки с признаками различных атак ( доменные имена, IP адреса, hash-суммы и т.д.)Rules – комплексные правила описывающие атаки.

Web-интерфейс

● Статистика● Отображение обнаруженных событий● IOC и Rules менеджер

Статистика

Обнаруженные события

IOC менеджер

IOC менеджер

IOA/IOC, Rules

Анализ публичной информации

Схема работы

Анализ образцов вредоносного ПО

Ручной анализ журналов ИС

Расследование инцидентов ИБ

Логи почтыApr 25 03:21:50 10.10.10.10 exim[28149]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix LMS check accept: 250 OKApr 25 03:21:50 10.10.10.10 exim[28149]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix <= [email protected] H=f419.i.mail.ru P=esmtp S=87714Apr 25 03:21:50 10.10.10.10 exim[28237]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix => [email protected] <[email protected]> R=smarthost1 T=remote_smtpApr 25 03:21:50 10.10.10.10 exim[28237]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix => [email protected] <[email protected]> R=smarthost2 T=remote_smtpApr 25 03:21:50 10.10.10.10 exim[28237]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix Completed

Логи прокси-сервера10.10.10.10 TCP_MISS/200 6102886 GET http://c2cweroguxu0s53.prettyload.ru/get_file/? user_1 HIER_DIRECT/5.149.255.179 application/octet-stream10.10.10.10 TCP_MISS_ABORTED/200 2048107 GET http://gtiab0przigane6.battlequest.ru/get_file/? user_2 HIER_DIRECT/5.149.255.179 application/octet-stream10.10.10.10 TCP_MISS/200 6006762 GET http://gtiab0przigane6.battlequest.ru/get_file/? user_2 HIER_DIRECT/5.149.255.179 application/octet-stream

Логи доступа к флешкам2015-04-14T12:23:27 WRITE-GRANTED E:\ShowFiles.exe 45056 user_1 some_pc_name Removable exe Дисковый накопитель, Дисковый накопитель, (Стандартные дисковые накопители) 57cec3d9c29184ec90bb60868a78467a1bf42fd7 CN=first_name last_name,OU=REGION 3979481d6bbae1dd28f46b9530cd4897a77c542e 2015-04-14T12:20:45 WRITE-GRANTED E:\ShowFiles.exe 45056 user_1 some_pc_name Removable exe Дисковый накопитель, Дисковый накопитель, (Стандартные дисковые накопители) 57cec3d9c29184ec90bb60868a78467a1bf42fd7 CN=first_name last_name,OU=REGION 3979481d6bbae1dd28f46b9530cd4897a77c542e

Пример IOA/IOC

Пример срабатывания системы

Полезные ссылки1. https://www.elastic.co/ (Elastic)2. https://pyes.readthedocs.org/en/latest/index.html (PyES

- Python Elastic Search)3. https://github.com/aparo/pyes (PyES source)4. https://discuss.elastic.co/c/meta (Elastic Community)5. http://www.amcharts.com/ (AMCharts)

Вопросы?

gmail.com @knsemyonovgmail.com @vschetvertakov