Problem rozproszonych logów
Każdy serwer, aplikacja i urządzenie sieciowe generuje logi. Gdy działa się coś złego — atak, błąd aplikacji, awaria — musisz przeszukać logi z wielu źródeł jednocześnie i skorelować zdarzenia w czasie. Bez centralizacji logów to zadanie zajmuje godziny zamiast minut.
rsyslog — centralny kolektor logów
rsyslog to demon syslog obecny domyślnie w większości dystrybucji Linux. Obsługuje zbieranie logów przez sieć (UDP/TCP/TLS), filtrowanie, transformację i przekazywanie do różnych backendów. Konfiguracja klientów do wysyłania logów na centralny serwer rsyslog to kilka linii w /etc/rsyslog.conf.
Stos ELK — Elasticsearch, Logstash, Kibana
- Logstash — przyjmuje logi z różnych źródeł (rsyslog, Filebeat, Kafka), parsuje je (filtry grok, mutate, date) i przekazuje do Elasticsearch
- Elasticsearch — rozproszona wyszukiwarka i magazyn danych. Pełnotekstowe wyszukiwanie po milionach zdarzeń w ułamkach sekund
- Kibana — interfejs webowy do eksploracji danych, budowania dashboardów i alertów
Filebeat — lekka alternatywa dla Logstash
Filebeat to lekki agent (beats) instalowany na każdym serwerze, który monitoruje wybrane pliki logów i wysyła zdarzenia bezpośrednio do Elasticsearch lub przez Logstash. Zużywa minimalne zasoby i jest znacznie prostszy w konfiguracji niż pełny Logstash na kliencie.
Co warto zbierać centralnie?
- Auth.log / secure — logowania SSH, sudo, su
- Logi aplikacyjne (Nginx, Apache, MySQL, PostgreSQL)
- Logi systemd (journald → rsyslog)
- Logi firewalla i IDS/IPS
- Logi urządzeń sieciowych przez SNMP trap lub syslog over UDP
- Logi Windows Event Log (przez Winlogbeat)
Retencja i archiwizacja
Zdefiniuj politykę retencji logów — ile dni przechowujesz w Elasticsearch (gorące dane), kiedy przenosisz do tańszego storage (zimne dane) i jak długo archiwizujesz. Wymagania prawne (RODO, KNF) mogą wymuszać określone okresy przechowywania.
Projektujemy i wdrażamy systemy centralnego zbierania i analizy logów. Skontaktuj się z nami, żeby omówić wymagania Twojego środowiska.
Potrzebujesz wsparcia? Dowiedz się więcej o administracji IT i monitoringu VOXAR lub skontaktuj się z nami.