[IBM CLOUDER:S] ELK란?

SK 인포섹 주관 클라우드 과정이 거의 막바지에 이르렀다.

내가 진행한 프로젝트는 AI를 이용한 자동문서분류 서비스였는데, 보안반의 아는 분이 ELK를 이용한 데이터 관리와 관련한 프로젝트를 진행하는 것을 보면서, ELK란 무엇이고, 왜 저 서비스가 괜찮은지 확인해보고 싶었다.

(아마 이 팀은 우승할 듯...ㅎ)

1. ELK란

ELK란 Elastic Stack이다. 즉 Elasticsearch, Logstash 및 Kibana, 이 오픈 소스 프로젝트 세 개의 머리글자라고 한다.

간단한(?) 역사로는 원래는 사용자가 검색 분야에서 Elasticsearch를 사용했다. 그러나 이를 로그 수집용으로 Elasticsearch를 사용하기 시작하게 되면서 이를 이것을 손쉽게 수집해서 시각화하고자 강력한 수집 파이프라인인 Logstash와 유연한 시각화 도구인 Kibana가 도입되었다. 이후 커뮤니티가 커지면서 사용 사례도 많아지게 되었고, 이에 사용자들의 feedback이 "파일을 추적하고 싶다"라는 요구사항이 있어 2015년에 ELK Stack에 경량의 단일 목적 데이터 수집기 제품군을 추가하게 되었는데 이것이 바로 Beats이다.

즉, 데이터 수집 및 분석 및 시각화 툴로 이해하면 될 것 같다.

2. ELK 구성

 

사실 ELK 구성은 공홈 메인 페이지에서 다 보여주긴 한다.

ELK의 구성은 beats > logstash > elasticsearch > kibana 로 정리되며, 구성요소는 다음과 같이 정리할 수 있다.

Beats		수백 수천 개의 장비와 시스템으로부터 Logstash나 Elasticsearch에 데이터를 전송
Logstash		여러 소스에서 동시에 데이터를 수집하여 변환한 후 Elasticsearch 같은 “stash”로 전송하는 서버 사이드 데이터 처리 파이프라인
Elasticsearch		검색 및 분석 엔진
Kibana		Elasticsearch에서 차트와 그래프를 이용해 데이터를 시각화

 

3. 실제 ELK로 구성하면 나오는 화면

https://www.elastic.co/kr/blog/kibana-4-2-0

보안반분들이 구성한 것이 위 페이지와 그나마 제일 유사하다. 실습은 사실 난 데이터도 없고 해서 못하는데, 확실히 GA가 마케팅들을 위한 웹로그 분석이라면 ELK는 웹로그를 보다 세분화하여, 본인이 최적화하여 구성할 수 있는 페이지 아닐까하는 생각을 했다. 왜 GA로 보안 웹로그 분석 못하는지 알 것 같기도 했고,,,ㅎㅎㅎㅎㅎ 여튼 대단했다!