27 Апреля, 2018

Splunk 7.1. Что нового? Новый веб интерфейс, интеграция с Apache Kafka и многое другое…

Евгений Ольков


Несколько дней назад компания Splunk выпустила новый релиз своей платформы Splunk 7.1 в котором, наверно, произошло самое ожидаемое изменение за последние несколько лет — да, полностью изменился графический интерфейс. В этой статье мы расскажем об основных нововведениях и улучшениях платформы. Что еще нового помимо GUI? Смотрите под кат.

Интерфейс


Как мы уже сказали, да, и наверно это самое заметное изменение, Splunk полностью поменял интерфейс, вплоть до изменения страницы с ошибкой. Внешний вид становится более современным и стильным. Исправлены элементы диаграмм и просмотра событий для повышения удобства восприятия информации. После обновления немного непривычно, но попользовавшись системой пару дней — привыкаешь и начинает нравится. Да, действительно нравится.



Интеграция с Apache Kafka



У Splunk появился коннектор для Kafka. Теперь вы можете стримить ваши данные с Kafka в инсталляцию Splunk, используя Splunk HTTP эвент коллектор. Также в этом релизе Splunk предлагает возможность интеграции с AWS Kinesis Firehose, но в наших реалиях это менее интересно. Подробное описание функционала и инструкция по деплою доступны здесь .

Контроль доступа



Splunk начал серьезно задумываться о безопасности своей платформы и начиная с этого релиза вы забудете о комбинации admin/changeme. Теперь вам будет предложено ввести пароль на этапе установки с требованием в 8 символов.



Также в новой версии в целях повышения безопасности появилась возможность настройки расширенных политик учетных записей. Теперь администратор Splunk может устанавливать требования к сложности пароля, срок действия, блокировку после повторных неудачных попыток входа.




Мониторинг состояния компонентов Splunk


Ура! Splunk становится более общительным. Теперь когда что-то ломается на этапе сбора/парсинга/индексирования он сам будет пытаться говорить нам об этом и нам не нужно смотреть в лог _internal и искать, что случилось.
В версии Splunk 7.1 реализована возможность мониторинга работоспособности компонентов Splunk. При отклонениях Splunk может указать причину, сообщения о возникших ошибках и дать советы для решения проблемы. Статус работоспособности указан в строке меню.







Усовершенствование метрик и новые SPL-команды


В релизе 7.0 Splunk появился новый тип индексации данных – метрики. Более подробно о них вы можете прочитать в нашем обзоре Splunk 7.0 . Использование метрик повышает обработку поисковых запросов и уменьшает общую нагрузку на систему. Но в первом релизе инструментарий для работы с метриками был несколько ограничен.

В новой версии была улучшена команда mstats , а также добавлена команда mcollect .

1. Улучшение mstats


В 7.0 мы могли вычислять только один показатель в этой команде. И для того, чтобы посчитать сразу несколько приходилось использовать дополнительные инструменты, которые усложняли поисковый запрос.

Например:

| mstats avg(_value) as "Average_speed" WHERE metric_name="car.speed" AND index=car_data span=1m
| appendcols [
| mstats max(_value) as "Max_speed" WHERE metric_name="car.speed" AND index=car_data span=1m ]


В версии 7.1 появилась возможность вычислять сразу несколько показателей в одной команде.

| mstats avg(_value) as "Average_speed" max(_value) as "Max_speed" WHERE metric_name="car.speed" AND index=car_data span=1m




2. Новая команда mcollect


С помощью команды mcollect мы можем преобразовывать результаты поиска в метрики. Перед выполнением команды необходимо создать новый индекс для метрик, в который мы будем сохранять показатели.

Например, создадим метрику количества ошибок:

ERROR | stats count BY type | rename count AS _value type AS metric_name | mcollect index=my_metric_index

И да, забыли сказать, они увеличили скорость работы с метриками в 10 раз. Теперь поиск по метрикам еще быстрее!

Обновление Machine Learning Toolkit


Также был обновлен инструментарий ML Toolkit, который позволяет получать из Ваших данных ответы на важные вопросы об аномалиях, прогнозах и разделении на кластеры, используя различные алгоритмы машинного обучения.

X-means


В первую очередь следует отметить добавление нового алгоритма кластеризации X-means, который отличается от стандартного алгоритма кластеризации, K-means, тем, что автоматически определяет оптимальное количество кластеров по Байесовскому информационному критерию. Алгоритм X-means удобно использовать, когда Вы предварительно не знаете на сколько кластеров можно разделить данные.



Управление моделями и экспериментами


Также появился единый интерфейс, позволяющий просматривать существующие модели и их параметров, настраивать доступ к экспериментам для различных ролей пользователей, устанавливать алерты, получать историю экспериментов и алертов.




Заключение


Конечно, в новом релизе есть еще множество нововведений и фич, например таких как: Diagnostic UI, оптимизация работы с кластерами: минимизировано влияние на работу системы при обновлениях, перезапусках, регулярных запланированных поисковых запросах и многие другие изменения. В рамках статьи мы попытались рассказать Вам о наиболее интересных нововведениях, с которыми может столкнуться каждый, кто использует Splunk.

Дополнительно


Для наиболее глубокого изучения вопроса стоит установить приложение Splunk Enterprise 7.1 Overview , а также посмотреть официальное видео релиза.

Также, не забывайте, что по любым вопросом относительно Splunk: его внедрения, обновления, разработки на нем приложений, добавления новых, сложно индексируемых событий и всего прочего вы можете обращаться за помощью к нам через наш сайт.

Мы являемся официальным Premier Партнером Splunk .