Шаг 3. Парсинг событий

Развернуть все | Свернуть все

Это обязательный шаг мастера установки. На вкладке мастера установки Парсинг событий следует выбрать или создать нормализатор, в параметрах которого будут определены правила преобразования сырых событий в нормализованные. В нормализатор можно добавить несколько правил парсинга событий, реализуя таким образом сложную логику обработки событий. Вы можете протестировать работу нормализатора, используя тестовые события.

При создании нового нормализатора в мастере установки по умолчанию он будет сохранен в наборе ресурсов для коллектора и не сможет быть использован в других коллекторах. С помощью флажка Сохранить нормализатор вы можете создать нормализатор в виде отдельного ресурса, в таком случае нормализатор будет доступен для выбора в других коллекторах тенанта.

Если вы, меняя параметры набора ресурсов коллектора, измените или удалите преобразования в подключенном к нему нормализаторе, правки не сохранятся, а сам нормализатор может быть поврежден. При необходимости изменить преобразования в нормализаторе, который уже является частью сервиса, вносите правки непосредственно в нормализатор в разделе веб-интерфейса Ресурсы → Нормализаторы.

Добавление нормализатора

Чтобы добавить в набор ресурсов существующий нормализатор:

  1. Нажмите на кнопку Добавить парсинг событий.

    Откроется окно Основной парсинг событий с параметрами нормализатора и активной вкладкой Схема нормализации.

  2. В раскрывающемся списке Нормализатор выберите нужный нормализатор. В раскрывающемся списке доступны нормализаторы, принадлежащие тенанту коллектора и Общему тенанту.

    В окне Основной парсинг событий отобразятся параметры выбранного нормализатора.

    Если вы хотите отредактировать параметры нормализатора, в раскрывающемся списке Нормализатор нажмите на значок карандаша рядом с названием нужного нормализатора. Откроется окно Редактирование нормализатора с темным кружком. Если вы нажмете на темный кружок, откроется окно Основной парсинг событий и параметры нормализатора будут доступны для редактирования.

    Если вы хотите настроить параметры дополнительного парсинга, наведите курсор на темный кружок и нажмите на появившийся значок плюса, откроется окно Дополнительный парсинг событий. Подробнее о настройке расширенного анализа событий см. инструкцию ниже.

  3. Нажмите на кнопку ОК.

На вкладке мастера установки Основной парсинг событий отображается нормализатор в виде темного кружка. Можно нажать на кружок, чтобы открыть параметры нормализатора для просмотра.

Чтобы создать в коллекторе новый нормализатор:

  1. На шаге Парсинг событий на вкладке Схемы парсинга нажмите на кнопку Добавить парсинг событий.

    Откроется окно Основной парсинг событий с параметрами нормализатора и активной вкладкой Схема нормализации.

  2. Если хотите сохранить нормализатор в качестве отдельного ресурса, установите флажок Сохранить нормализатор - таким образом сохраненный нормализатор будет доступен для использования в других коллекторах тенанта. По умолчанию флажок снят.
  3. Введите в поле Название уникальное имя для нормализатора. Название должно содержать от 1 до 128 символов Юникода.
  4. В раскрывающемся списке Метод парсинга выберите тип получаемых событий. В зависимости от выбора можно будет воспользоваться преднастроенными правилами сопоставления полей событий или задать свои собственные правила. При выборе некоторых методов парсинга могут стать доступны дополнительные параметры, требующие заполнения.

    Доступные методы парсинга:

    • json
    • cef
    • regexp
    • syslog
    • csv
    • kv
    • xml
    • netflow5
    • netflow9
    • sflow5
    • ipfix
    • sql – этот метод становится доступным, только при использовании коннектора типа sql
  5. В раскрывающемся списке Сохранить сырое событие укажите, надо ли сохранять сырое событие во вновь созданном нормализованном событии. Доступные значения:
    • Не сохранять – не сохранять сырое событие. Это значение используется по умолчанию.
    • При возникновении ошибок – сохранять сырое событие в поле Raw нормализованного события, если в процессе парсинга возникли ошибки. Это значение удобно использовать при отладке службы. В этом случае каждый раз, когда у события есть непустое поле Raw, это означает, что возникла проблема.

      Если поля с названиями *Address или *Date* не соответствуют правилам нормализации, такие поля игнорируются. При этом не возникает ошибка нормализации и значения полей не попадают в поле Raw нормализованного события, даже если был указан параметр Сохранить сырое событие → При возникновении ошибок.

    • Всегда – сохранять сырое событие в поле Raw нормализованного события.
  6. В раскрывающемся списке Сохранить дополнительные поля выберите, требуется ли сохранять поля сырого события в нормализованном событии, если для них не были настроены правила сопоставления (см. ниже). Данные сохраняются в поле события Extra. Нормализованные события можно искать и фильтровать по данным, хранящимся в поле Extra.

    Фильтрация по данным из поля события Extra

    По умолчанию поля не сохраняются.

  7. Скопируйте в поле Примеры событий пример данных, которые вы хотите обработать. Это необязательный, но рекомендуемый шаг.
  8. В таблице Сопоставление настройте сопоставление полей сырого события с полями событий в формате KUMA:
    1. В столбце Исходные данные укажите название поля сырого события, которое вы хотите преобразовать в поле события KUMA.

      Подробнее о формате полей см. в статье Модель данных нормализованного события. Описание сопоставления см. в статье Сопоставление полей предустановленных нормализаторов.

      Если рядом с названиями полей в столбце Исходные данные нажать на кнопку wrench-new, откроется окно Преобразование, в котором при нажатии на кнопку Добавить преобразование можно создать правила изменения исходных данных перед тем, как они будут записаны в поля событий KUMA.

      Доступные преобразования

      В окне Преобразования добавленные правила можно менять местами, перетягивая их за значок DragIcon, а также удалять с помощью значка cross-black.

    2. В столбце Поле KUMA в раскрывающемся списке выберите требуемое поле события KUMA. Поля можно искать, вводя в поле их названия.

      Рекомендации для полей столбцов KUMA

    3. Если название поля события KUMA, выбранного на предыдущем шаге, начинается с DeviceCustom* и Flex*, в поле Подпись можно добавить уникальную пользовательскую метку.

    Новые строки таблицы можно добавлять с помощью кнопки Добавить строку. Строки можно удалять по отдельности с помощью кнопки X. или все сразу с помощью кнопки Очистить все.

    Чтобы KUMA могла выполнить обогащение событий данными про активы, и данные об активах были доступны в карточке алерта при срабатывании корреляционного правила, в таблице Сопоставление вам необходимо настроить сопоставление полей для адреса устройства и имени устройства в зависимости от назначения актива. Например, сопоставление для SourceAddress и SourceHostName, или DestinationAddress и DestinationHostName. В результате обогащения в карточке события появится поле SourceAssetID или DestinationAssetID и ссылка, по которой можно будет перейти в карточку актива. Также в результате обогащения сведения об активе будут доступны в карточке алерта.

    Если вы загрузили данные в поле Примеры событий, в таблице отобразится столбец Примеры с примерами значений, переносимых из поля сырого события в поле события KUMA.

    Если размер поля события KUMA оказывается меньше длины помещаемого в него значения, значение обрезается до размера поля события.

  9. Нажмите на кнопку ОК.

На вкладке мастера установки Парсинг событий отображается нормализатор в виде темного кружка. Если вы хотите открыть параметры нормализатора для просмотра, нажмите на темный кружок. При наведении курсора мыши на кружок отображается знак плюса. Нажмите на значок "плюс", чтобы добавить правила парсинга событий (см. инструкцию ниже).

Обогащение нормализованного события дополнительными данными

В только что созданные нормализованные события можно добавлять дополнительные данные, создавая в нормализаторе правила обогащения. Эти правила хранятся в нормализаторе, в котором они были созданы. Правил обогащения может быть несколько.

Чтобы добавить правила обогащения в нормализатор:

  1. Выберите основное или дополнительное правило нормализации, а затем в открывшемся окне перейдите на вкладку Обогащение.
  2. Нажмите на кнопку Добавить обогащение.

    Появится блок параметров правила обогащения. Блок параметров можно удалить, нажав на кнопку cross-black.

  3. В раскрывающемся списке Тип источника выберите тип обогащения. В зависимости от выбранного типа отобразятся дополнительные параметры, которые требуется заполнить.

    Доступные типы источников обогащения:

    • константа
    • dictionary
    • table
    • событие
    • шаблон
  4. В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.

    Этот параметр недоступен для типа источника обогащения таблица.

  5. Если вы хотите включить детализацию в журнале нормализатора, переведите переключатель Отладка в активное положение. По умолчанию детализация отключена.
  6. Нажмите на кнопку ОК.

В нормализатор, в выбранное правило парсинга, добавлены правила обогащения событий дополнительными данными.

Настройка парсинга с привязкой к IP-адресам

Вы можете направить события с нескольких IP-адресов, от источников разных типов в один коллектор, и коллектор применит соответствующие заданные нормализаторы.

Такой способ доступен для коллекторов с коннектором типа UDP, TCP, HTTP. Если в коллекторе на шаге Транспорт указан коннектор UDP, TCP, HTTP, на шаге Парсинг событий на вкладке Настройки парсинга вы можете задать несколько IP-адресов и указать, какой нормализатор следует использовать для событий, поступающих с заданных адресов. Доступны следующие типы нормализаторов: json, cef, regexp, syslog, csv, kv, xml.

Если в коллекторе с настроенными нормализаторами с привязкой к IP-адресам вы измените тип коннектора на какой-либо, кроме UDP, TCP, HTTP, вкладка Настройки парсинга исчезнет и на шаге Парсинг будет указан только первый нормализатор из указанных прежде. Вкладка исчезает в веб-интерфейсе сразу, изменения будут применены после сохранения ресурса. Если вы хотите вернуться к прежним параметрам, выйдите из мастера установки коллектора без сохранения.

Для нормализаторов типа Syslog и regexp допускается использование цепочки нормализаторов: вы можете задать дополнительные условия нормализации в зависимости от значения поля DeviceProcessName. Отличие от дополнительной нормализации: вы можете указывать общедоступные нормализаторы.

Чтобы настроить парсинг с привязкой к IP-адресам:

  1. На шаге Парсинг событий перейдите на вкладку Настройки парсинга.
  2. В поле IP-адрес(-а) укажите один или несколько IP-адресов, с которых будут поступать события. Вы можете указать несколько IP-адресов через запятую. Доступный формат: IPv4. Длина списка адресов не ограничена, при этом рекомендуется указывать разумное количество адресов для соблюдения баланса нагрузки на коллектор. Поле обязательно для заполнения, если вы хотите применять несколько нормализаторов в одном коллекторе.

    Ограничение: IP-адрес должен быть уникальным для каждой комбинации IP + нормализатор. KUMA выполняет проверку уникальности адресов. Если вы укажете один и тот же IP-адрес для разных нормализаторов, отобразится сообщение "Поле должно быть уникальным".

    Если вы планируете отправлять все события в один нормализатор без указания IP-адресов, рекомендуется создать отдельный коллектор. Также рекомендуется создать отдельный коллектор с одним нормализатором, если вы хотите применить один нормализатор к событиям с большого количества IP-адресов - в таком варианте производительность будет выше.

  3. В поле Нормализатор создайте или выберите в раскрывающемся списке существующий нормализатор. Стрелка рядом с раскрывающимся списком позволяет выполнить переход на вкладку Схемы парсинга.

    Нормализация будет срабатывать если у вас настроен тип коннектора: UDP, TCP, HTTP, при этом для HTTP должен быть указан header источника событий.

    С учетом доступных коннекторов, следующие типы нормализатора доступны для автоматического распознавания источников: json, cef, regexp, syslog, csv, kv, xml.

  4. Если вы выбрали тип нормализатора Syslog или regexp, вы можете Добавить условную нормализацию. Условная нормализация будет доступна, если в основном нормализаторе настроено Сопоставление полей для DeviceProcessName. В группе параметров Условие укажите имя процесса в поле DeviceProcessName и создайте или выберите из раскрывающегося списка существующий нормализатор. Вы можете указать несколько комбинаций DeviceProcessName + нормализатор, нормализация будет выполняться до первого совпадения.

Настройка парсинга с привязкой к IP-адресам выполнена.

Создание структуры правил нормализации событий

Для реализации сложной логики обработки событий в нормализатор можно добавить более одного правила парсинга событий. События передаются между правилами парсинга в зависимости от заданных условий. Последовательность создания правил парсинга важна. Событие обрабатывается последовательно, путь к нему отображается стрелками.

Чтобы создать дополнительное правило парсинга:

  1. Создайте нормализатор (см. инструкцию выше).

    Созданный нормализатор отобразится в окне в виде темного кружка.

  2. Наведите указатель мыши на кружок и нажмите на появившуюся кнопку со значком плюса.
  3. В открывшемся окне Дополнительный парсинг события задайте параметры дополнительного правила парсинга события:
    • Вкладка Условия дополнительной нормализации:

      Если вы хотите передавать сырое событие для дополнительной нормализации, в раскрывающемся списке Использовать сырое событие выберите значение Да. По умолчанию указано значение Нет. Рекомендуется передавать сырое событие в нормализаторы типа json и xml. Если вы хотите передавать сырое событие для дополнительной нормализации на второй, третий и далее уровень вложенности, последовательно на каждом уровне вложенности в раскрывающемся списке Использовать сырое событие выберите значение Да.

      Если вы хотите отправлять в дополнительный нормализатор только события с определенным полем, укажите его в поле Поле, которое следует передать в нормализатор.

      На этой вкладке вы также можете определить другие условия. При выполнении этих условий событие отправляется на дополнительный анализ.

    • Вкладка Схема нормализации:

      На этой вкладке можно настроить правила обработки событий, по аналогии с параметрами основного нормализатора (см. инструкцию выше). Параметр Сохранить сырое событие недоступен. В поле Примеры событий отображаются значения, указанные при создании начального нормализатора.

    • Вкладка Обогащение:

      На этой вкладке можно настроить правила обогащения событий (см. инструкцию выше).

  4. Нажмите на кнопку ОК.

Дополнительное правило парсинга добавлено в нормализатор и отображается в виде темного блока, на котором указаны условия, при котором это правило будет задействовано. Параметры дополнительного правила парсинга можно изменить, нажав на него. Если навести курсор мыши на правило дополнительного парсинга, отобразится кнопка с плюсом. Вы можете нажать на эту кнопку, чтобы создать дополнительное правило парсинга. С помощью кнопки со значком корзины нормализатор можно удалить.

В верхнем правом углу окна располагается окно поиска, где можно искать правила парсинга по названию.

Перейдите к следующему шагу мастера установки.

В начало