Tag: log

ELK Stack – Elastic Stack

Кратко описание

Elastic Stack (известен по-рано като ELK Stack) е решение за обработка на лог информация. Представлява лог сървър с вградени колектор, процесор, система за съхранение, обработка, анализ, визуализация и изпращане на алерти, базиран е на отворен и свободен код.

Основните му компоненти са:

  • Elastic Search – система за съхранение и индексиране на информацията
  • Logshtash – система за събиране и препроцесинг на log информация
  • Beats – система от агенти за събиране на информация и изпращане към централната система
  • Kibana – система за визуализация и обработка на информацията

Еластик стек е дефакто стандарт за събиране и управление на лог информация, особено в клауд инфраструктура. Позволява изграждане на системи за наблюдение и анализ бизнес клас. Накратко:

  • Зрял проект с дългогодишно развитие и широка база от разработчици
  • Богата функционалност в основна безплатна версия
  • Наличие на комерсиални версия и поддръжка, както и на достатъчно подробна и надеждна поддръжка от общността на потребителите

Подходящ за:

  • Внедряване на надеждни системи за събиране и управление на логове
  • Средство да получите и централизирано обработите/съхраните цялата необходима информация за отстраняване на проблеми и увеличаване на ефективност
  • Единна система, която може да агрегира лог информация от локални, отдалечени и клауд базирани източници
  • Може да бъде използван както за наблюдение на системи и инфраструктура, така също на приложения и услуги
Неподходящ за:
  • В рамките на специализацията си като лог сървър, Elastic Stack е подходящ да изпълнява всевъзможни задачи
За повече информация:
Защо Elastic Stack:
  • Много добър за проактивен мониторинг на сървъри, системи, цели инфраструктури и услуги
  • Поддържа всевъзможни лог формати
  • Множество плъгин модули, които разширяват съществуваща или добавят нова функционалност
  • Добре се вписва в корпоративна среда (LDAP) 
  • Добра интеграция и поддръжка от Elastic
  • Може да се използва като SIEM система, дори в безплатната версия, но все още липсват съществени интеграции, които има в специализираните за целта средства (като например AlienVault OSSIM)
  • В платената версия има ML (Machine Learning) възможности за специализиран лог анализ
Недостатъци:
  • Непълна поддръжка на организационни йерархии (multitenancy)
  • Няма много материали на български език
Оценка на необходимите ресурси при внедряване:
  • Инсталация на ELK- при използване на базови настройки за малка до средна инфраструктура – лесна. 
  • Предлагат се готови контейнер базирани инсталации за всички популарни клауд и контейнер инфраструктури
  • Има вградена поддръжка на разпределена инфраструктура, както за приемане, така и за обработка и съхраняване на лог информация
    • Необходимите ресурси са в линейна зависимост от големината и комплексността на наблюдаваните системи, мрежи и услуги
  • Добре се вписва в налични среди за виртуализация
  • Добра документация
Степен на завършеност на решението:
  • Напълно завършено решение, но в безплатната версия са необходими множество времеемки интеграции, за да е напълно функциoнален. 
Съвети към IT мениджъра:
  • Elastic Stack е особено подходящ да замени класически лог сървъри (rsyslog, syslog-ng) като централен агрегатор и процесор на лог информация
  • Архитектурата му позволява да работи практически във всякакъв мащаб – от събиране на информация от няколко хоста до големи комплексни системи, които генерират огромен брой съобщения и трафик
  • Допълнително разработените агенти (beats) позволяват мониторинг на всевъзможни системи
  • Позволява изграждане на напълно функционална система без инвестиции в лицензи, но (както всяка подобна, включително комерсиална, система) не е решение, което работи “out of the box”. Необходимо е добро предварително планиране, технологично време и достатъчен човешки ресурс
  • ELK е изключително всеобхватен и универсален продукт – поради това е необходимо да се инвестира време, за да се използват ефективно пълните му възможности. 

 

Graylog

Кратко описание

Graylog е лог сървър с вградени колектор, процесор, система за съхранение, обработка, анализ, визуализация и изпращане на алерти, базиран на отворен и свободен код. Позволява изграждане на системи за наблюдение и анализ бизнес клас. Накратко:

  • Зрял проект с дългогодишно развитие и широка база от разработчици
  • Богата функционалност в основна безплатна версия
  • Наличие на комерсиални версия и поддръжка, както и на достатъчно подробна и надеждна поддръжка от общността на потребителите

Подходящ за:

  • Внедряване на надеждни системи за събиране и управление на логове
  • Средство да получите и централизирано обработите/съхраните цялата необходима информация за отстраняване на проблеми и увеличаване на ефективност
  • Единна система, която може да агрегира лог информация от локални, отдалечени и клауд базирани източници
  • Може да бъде използван както за наблюдение на системи и инфраструктура, така също на приложения и услуги
Неподходящ за:
  • В рамките на специализацията си като лог сървър, Graylog е подходящ да изпълнява всевъзможни задачи
За повече информация:
Защо Graylog:
  • Много добър за проактивен мониторинг на сървъри, системи, цели инфраструктури и услуги
  • Поддържа всевъзможни лог формати
  • Множество плъгин модули, които разширяват съществуваща или добавят нова функционалност
  • Добре се вписва в корпоративна среда (LDAP) 
  • Поддръжка на организационни йерархии (multitenancy)
  • Поддръжка на потребители и групи
  • Допълнително REST API
Недостатъци:
  • В безплатната (за разлика от платената) версия липсва механизъм, за правене на корелации между регистрираните и обработени събития
    • Все пак, с помощта на допълнителни плъгин модули е възможно да се постигне приемливо корелиране
  • Дребно неудобство – не поддържа стандартни лог портове, например UDP514, тъй като Java машината не работи с привилегировани портове
  • Няма много материали на български език
Оценка на необходимите ресурси при внедряване:
  • Инсталация на Graylog – при използване на базови настройки за малка до средна инфраструктура – лесна
  • Има вградена поддръжка на разпределена инфраструктура, както за приемане, така и за обработка и съхраняване на лог информация
    • Необходимите ресурси са в линейна зависимост от големината и комплексността на наблюдаваните системи, мрежи и услуги
  • Добре се вписва в налични среди за виртуализация
  • Добра документация
Степен на завършеност на решението:
  • Завършено решение, макар че по отношение на визуализация има какво да се желае
    • Има положителна тенденция в последните години за развитие на тази функционалност
    • Относително лесно е да се добави и използва външна технология за визуализация, например Grafana
Съвети към IT мениджъра:
  • Graylog е особено подходящ да замени класически лог сървъри (rsyslog, syslog-ng) като централен агрегатор и процесор на лог информация
  • Архитектурата му позволява да работи практически във всякакъв мащаб – от събиране на информация от няколко хоста до големи комплексни системи, които генерират огромен брой съобщения и трафик
  • Позволява изграждане на напълно функционална система без инвестиции в лицензи, но (както всяка подобна, включително комерсиална, система) не е решение, което работи “out of the box”. Необходимо е добро предварително планиране, технологично време и достатъчен човешки ресурс
  • Kривата на обучение е приемлива, дори администратори с малко опит бързо усвояват необходимите умения, за да го използват ефективно