Практическая работа №00 "Стэк ELK"
ELK Stack overview

---

[!NOTE] Изначально планировалось настроить для стэка ELK несколько proof-of-concept сервисов, которые бы отправляли телеметрию стэку в реальном времени. Однако в процессе реализации такого стэнда я столкнулся со следующими проблемами:

1. Такой стенд состоял бы из минимум 6-7 сервисов и (как показала практика) работает крайне нестабильно даже на машине с 32Гб RAM и процессором i9. Официальная документация Elastic не рекомендует развертывать более одного сервиса на одной физической машине.
2. Elastic крайне активно склоняют пользователей к использованию их платного hosted-продукта, и основная работа ведется именно над ним. Смысл всей лабораторной работы в self-хостинге этих сервисов, однако сами Elastic не настроены помогать в этом инженерам, особенно с адресами из РФ. Ввиду этого, развернуть полноценный стэнд с real-time клиентами крайне сложно - необходимый elastic agent буквально отказывается работать, а все интеграции (с postgresql, auditd и другими) невозможно установить не только с российским IP, но и под некоторыми зарубежными.

Исходя из этого, лабораторная работа центрируется вокруг развертывания коренных сервисов стэка (Elasticsearch + Logstash + Kibana) и минимальных сопровождающих сервисов (Filebeat и Metricbeat). На практике такой тестовый стенд позволяет достаточно неплохо изучить основы Elastic, а так же поработать с живыми данными внутри Kibana.

Обзор

Задача

Методы проверки работы

Рекомендации по выполнению

Исправление вероятных ошибок

Инструкция по построению рабочего стенда

[!CAUTION] Это "материал для преподователя" - (скорее всего) надо убрать из лабораторной работы, ибо это можно все скопировать и получить рабочий стенд.

NOTE: На моём опыте, развернуть ELK нативно, без использования контейнеризации, крайне проблематично. Сервисы ругаются друг на друга, конфликтуют с хостом и иногда просто не работают, в зависимости от дистрибутива и пакета. Поэтому docker compose. Его можно избежать, однако в таком случае мне кажется, что одна лишь задача запуска ELK - уже достаточно сложная и объемная для одной лабораторной работы.

1. Получаем репозиторий. Я либо открою доступ к репозиторию на GitHub, либо пришлю .zip архив с исходным кодом. Репозиторий не хочется делать открытым, ибо тогда все оттуда спишут :)

2. Поднимаем контейнеры:

   docker compose up --detach # Запуск всего стэка.
   docker compose down # Остановка всего стэка.
   docker compose logs --follow # Просмотр логов стэка.
   
   # Ахтунг!
   # Удаление всех данных стэка. Нужно, чтобы "начать заново"!
   docker compose down --volumes

3. Отправляемся на localhost:5601 - главную страницу Kibana, логинимся. Имя пользователя - elastic, пароль взять из .envrc, скорее всего changeme.

4. Если все хорошо, то увидим дэшборд:

   ![[Study/Semester 5/Telemetry Lab/kibana_dashboard.png]]

   Тут нам нужен желтый Search, жмём на него и под заголовком Ingest your content загружаем файл¹ с данными через кнопку Upload file.

5. Далее, Kibana предложит множество возможностей повзаимодействовать с данными из файла, что именно здесь выставлять как задачу - я не определился. Возможно, на этом этапе студенту стоит продемонстрировать уникальность данных для проверки, ну или сделать какую-то примитивную выборку.

6. Если перезапустить стенд несколько раз, то в списке индексов вероятно появится один или несколько относящихся к телеметрии самого стэка.

Footnotes

1. Либо filebeat_ingest_data/Air_Quality.log, либо logstash_ingest_data/Air_Quality.csv. Для обоих файлов скорее всего придется вручную проставить галочку напротив Has header row в разделе Override settings, потому что строка с заголовками столбцов почему-то не определяется сама. ↩