ELK 스택 (16) 썸네일형 리스트형 [Kibana] Kibana 시간 설정 (+logstash) 로그 스테이시에서 전처리 후 키바나로 데이터를 전송할 때 경험한 시간 설정과 관련된 Trouble Shooting 기록 "이 포스팅은 키바나 7.8.0 버전 기준으로 작성되었습니다." 1. 키바나 시간 설정 Kibana > Advanced Settings 설정 Timezone for data formatting 설정 > 이곳에서 키바나에 보이는 데이터의 타임존을 설정할 수 있다. > 기본 세팅은 Browser 로서, 현재 사용하는 브라우저의 타임존을 감지하여 적용해준다. > UTC 등, 다른 타임존을 선택할 수 있다 2. 로그스테이시 타임존 설정 /etc/logstash/conf.d/custom.conf 설정 파일 input { } filter { // 필터링 date { match => ["필드명", .. [ELK] 보안처리를 위한 ELK 스택 구축 ( Docker-compose) 이번 포스팅은 엘라스틱과 키바나에 보안접속을 할 수 있도록 추가하여, 도커 컴포즈를 사용하여 구축하는 내용에 관한 포스팅 아래 내용은 Elasticsearch with docker-compose 내용을 기반으로 작성되었습니다. (엘라스틱 공식문서) www.elastic.co/guide/en/elastic-stack-get-started/7.8/get-started-docker.html#get-started-docker-tls Running the Elastic Stack on Docker | Getting Started [7.8] | Elastic At this point, Kibana cannot connect to the Elasticsearch cluster. You must generate a p.. [Elasticsearch] 도커 컴포즈를 사용하여 엘라스틱 사용 이번 포스팅은 도커 컨테이너를 사용하여 엘라스틱 서버를 구성하고 사용하는 포스팅으로 공식문서를 기반으로 작성되었습니다. [ 엘라스틱 스택 관련 도커 이미지는 아래를 참고 ] www.docker.elastic.co Docker @ Elastic Docker @ Elastic On this page, you'll find all the resources — docker commands, links to product release notes, documentation and source code — for installing and using our Docker images. www.docker.elastic.co [ Single node 엘라스틱 ] 엘라스틱 이미지 다운 엘라스틱 최신 버전 이미지를 pul.. [Logstash] 로그스테이시 사용법 (설정파일) + Elastic 이번 포스팅은 로그 스테이시에서 사용하는 다양한 설정과 로그를 필터링하는 방법에 대한 내용입니다. Logstash란 로그 스테이시는 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이다. 로그 스테이시는 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있는 능력을 가진다. 로그스테이시는 원래 로그 수집의 혁신을 주도했지만, 그 가능성은 실제 사용 사례를 통해 훨씬 더 열렸다. 다양한 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강하고 변환할 수 있으며, 많은 기본 코텍이 처리 과정을 단순화한다. 따라서 로그 스테이시는 더 많은 양과 다양한 데이터를 활용하여 통찰력 있게 보는 것을 가능하게 해 준다. 💡Logstash 공식 문서 : www.ela.. [Elasticsearh] 실전에서 사용 되는 요청 쿼리 작성 엘라스틱 서치에서 사용되는 다양한 쿼리문에 관한 포스팅입니다:) 모든 문서 검색 GET [INDEX_NAME]/_search { "query": { "match_all" : {} } } 문서의 갯수 검색 GET [INDEX_NAME]/_count { "query": { "match_all" : {} } } 조건 검색 특정 필드에 특정 값을 만족 하는 경우 GET [INDEX_NAME]/_count { "query": { "match": { "[필드명]": "[값]" } } } 특정 필드의 값 조건 + 날짜 지정 범위 GET [INDEX_NAME]/_search { "size": 0, #출력결과 숨길때 "query": { "bool": { "must": [ { "term": { "[필드명]": "[값]" .. [Elasticsearch] Scroll API 사용하기 (전체 문서 읽어오기) 이번 포스팅은 엘라스틱 서치에서 전체 문서를 가져오기 위해, 스크롤 API를 사용하는 방법에 관한 포스팅입니다. Elasticsearch Scoll API란, Scroll API search 요청이 하나의 페이지를 결과로 리턴하는 동안, scrooll API는 하나의 search 요청에서 많은 수의 결과 리턴을 가능하게 해 준다. 이러한 방법은 전통적인 데이터베이스의 커서를 사용하는 것과 같은 방식이라고 생각할 수 있다. Scrolling은 실시간으로 유저의 요청을 처리하기 위해 의도된 것이 아니라 대량의 데이터를 처리하기 위한 것 (예를 들면, 한 인덱스를 다른 구성으로 된 새로운 인덱스로 리인덱스 해주기 위함) Scrolling을 사용하기 위해, 초기 검색 요청 시 scroll 파라미터를 쿼리문에 명.. [Elastic] Crontab을 활용해 주기적으로 Document 삭제 이번 포스팅은 엘라스틱에 적재되는 수많은 데이터를 주기적으로 삭제하기 위해 crontab을 사용하는 예제입니다. 1. 엘라스틱 Curator - 엘라스틱 자체에 Curator를 활용하여 오래된 인덱스를 지워주는 기능이 존재 - 이번 포스팅은 인덱스를 지우는 것이 아닌 Document를 지워야 하기에 Crontab활용 - 다음 포스팅에 Curator를 활용해 볼 예정 (이때는 인덱스를 날짜별로 적재해야 함) 2. Crontab이란 - 특정 시간에 특정 작업을 해야 할 때 사용. 단순하게 리눅스 작업 스케줄러라고 생각하면 편함 - 엘라스틱 서치의 데이터가 너무 많이 쌓이는 것을 미리 방지하기 위해 2일 전 데이터는 자동으로 삭제될 수 있도록 crontab을 등록해놓을 예정 3. Crontab 설치 및 재시작.. [Kibana] 데이터 후처리를 위한 Scripted field 사용 이번 포스팅은 엘라스틱에 적재 된 데이터의 후처리를 위해 키바나에서 script field 사용법에 대한 포스팅. 1. 키바나 접속 - 키바나에서는 데이터의 시각화를 위한 다양한 툴을 제공 - 그 중에서 원본 데이터의 후처리를 할 수 있는 기능도 존재 - Scripted field를 사용하여 원래 field의 데이터를 가공하여 새로운 필드 생성 가능 >> kibana 에서 인덱스를 생성 한 후, 해당 인덱스로 접근 >> filed 옆에 Scripted fields 클릭 후 생성 2. Scripted Field 생성 방법 - Add scripted filed 클릭 - 아래와 같이 새로운 필드를 작성 할 수 있는 페이지 확인 가능 >> 후처리 코드는 자바 문법으로 작성 해야 함 >> 작성 중인 코드의 실제 .. 이전 1 2 다음
