Нормализаторы предназначены для приведения сырых событий, которые поступают из разных источников в различных форматах, к модели данных событий KUMA. Нормализованные события становятся доступны для обработки другими ресурсами и сервисами KUMA.
Нормализатор состоит из основного и необязательных дополнительных правил парсинга событий. С помощью создания основного и множества дополнительных правил парсинга можно реализовать сложную логику обработки событий. Данные передаются по древовидной структуре правил парсинга в зависимости от условий, заданных в параметре Условия дополнительной нормализации. Последовательность создания правил парсинга имеет значение: событие обрабатывается последовательно и последовательность обработки обозначена стрелками.
Нормализация событий теперь доступна в следующих вариантах:
Мы рекомендуем использовать такой способ, если у вас много событий одного типа или много IP-адресов, откуда могут приходить события одного типа. Можно настроить один коллектор только с одним нормализатором и это будет оптимально с точки зрения производительности.
Такой способ доступен для коллекторов с коннектором типа UDP, TCP, HTTP. Если в коллекторе на шаге Транспорт указан коннектор UDP, TCP, HTTP, на шаге Парсинг событий на вкладке Настройки парсинга вы можете задать несколько IP-адресов и указать, какой нормализатор использовать для событий, поступающих с заданных адресов. Доступны следующие типы нормализаторов: json, cef, regexp, syslog, csv, kv, xml. Для нормализаторов типа syslog и regexp вы можете задать дополнительные условия нормализации в зависимости от значения поля DeviceProcessName.
Нормализатор создается в несколько этапов:
Нормализатор можно создать в Консоли KUMA:
Затем в нормализаторе необходимо создать правила парсинга.
Основное правило парсинга создается нажатием на кнопку Добавить парсинг событий. При этом открывается окно Парсинг событий, в котором вы можете задать параметры основного правила парсинга:
Основное правило парсинга событий отображается в нормализаторе в виде темного кружка. Параметры основного правила парсинга можно просмотреть или изменить, нажав на его кружок. При наведении курсора мыши на кружок отображается знак плюса. Нажмите на него, чтобы добавить правила парсинга.
Название основного правила парсинга используется в KUMA в качестве названия нормализатора.
При нажатии на значок плюса, который отображается при наведении указателя мыши на кружок или блок, обозначающей нормализатор событий, откроется окно Дополнительный парсинг событий, в котором вы можете задать параметры дополнительного правила парсинга:
Дополнительное правило парсинга событий отображается в нормализаторе виде темного блока. В блоке отображаются условия срабатывания правила дополнительного парсинга, имя правила дополнительного парсинга и поле события. Когда это поле события доступно, данные передаются в нормализатор. Параметры дополнительного правила парсинга можно просмотреть или изменить, нажав его блок.
Если навести курсор мыши на правило дополнительного нормализатора, появится кнопка с плюсом. Вы можете нажать на эту кнопку, чтобы создать дополнительное правило парсинга событий. С помощью кнопки со значком корзины нормализатор можно удалить.
Создание нормализатора завершается нажатием кнопки Сохранить.
В верхнем правом углу в поле поиска можно искать дополнительные правила парсинга по названию.
Для ресурсов нормализатора в полях ввода, кроме поля Описание, можно включить отображение непечатаемых символов.
Если вы, меняя параметры набора ресурсов коллектора, измените или удалите преобразования в подключенном к нему нормализаторе, правки не сохранятся, а сам нормализатор может быть поврежден. При необходимости изменить преобразования в нормализаторе, который уже является частью сервиса, вносите правки непосредственно в нормализатор в разделе веб-интерфейса Ресурсы → Нормализаторы.
В начало