Strategie indexování v Logmanageru 4

Indexace přímo ovlivňuje rychlost, s jakou mohou analytici vyhledávat a filtrovat data. V Logmanageru 4 byl model indexace přepracován tak, aby zlepšil výkon ve větších prostředích. To je užitečné, protože se snižuje množství nerelevantních dat prohledávaných při vyhledávání a zároveň vzniká lepší základ pro budoucí funkce retence a zálohování.

Indexaci v Logmanageru popisuje také následující video (v EN):

1. Co je to index

V praxi je index kolekce dokumentů optimalizovaná pro vyhledávání. Každý příchozí log se stává dokumentem s poli, jako jsou časová razítka, IP adresy, uživatelská jména, kategorie událostí a výstupy parserů.

2. Jak fungovaly starší verze

Ve starších verzích byly logy obvykle ukládány do denních indexů. Všechny události vytvořené během 24hodinového okna byly seskupeny dohromady. Tento model byl jednoduchý, ale když prostředí začala generovat stovky gigabajtů dat denně, vyhledávání muselo procházet velmi rozsáhlé datasety.

3. Co se změnilo v Logmanageru 4

Logmanager 4 přináší indexaci na základě parserů. Namísto ukládání všech logů z jednoho dne na stejné místo jsou logy seskupovány podle parseru, který je zpracoval. Například Windows logy zpracované Windows parserem jsou ukládány společně do dedikovaného indexu.

4. Proč je to užitečné

Když analytik vyhledává Windows logy, platforma může přejít přímo do relevantního indexu namísto procházení nesouvisejících síťových, webových nebo firewallových událostí. To zvyšuje rychlost vyhledávání a zároveň udržuje architekturu škálovatelnější.

5. Plánovaná vylepšení do budoucna

Nová architektura zároveň umožňuje funkce plánované pro budoucí verze, například granulární retenční politiky nebo možnost zálohovat konkrétní indexy místo celého datasetu.