키바나 (6) 썸네일형 리스트형 [Kibana] Kibana 시간 설정 (+logstash) 로그 스테이시에서 전처리 후 키바나로 데이터를 전송할 때 경험한 시간 설정과 관련된 Trouble Shooting 기록 "이 포스팅은 키바나 7.8.0 버전 기준으로 작성되었습니다." 1. 키바나 시간 설정 Kibana > Advanced Settings 설정 Timezone for data formatting 설정 > 이곳에서 키바나에 보이는 데이터의 타임존을 설정할 수 있다. > 기본 세팅은 Browser 로서, 현재 사용하는 브라우저의 타임존을 감지하여 적용해준다. > UTC 등, 다른 타임존을 선택할 수 있다 2. 로그스테이시 타임존 설정 /etc/logstash/conf.d/custom.conf 설정 파일 input { } filter { // 필터링 date { match => ["필드명", .. [Kibana] 데이터 후처리를 위한 Scripted field 사용 이번 포스팅은 엘라스틱에 적재 된 데이터의 후처리를 위해 키바나에서 script field 사용법에 대한 포스팅. 1. 키바나 접속 - 키바나에서는 데이터의 시각화를 위한 다양한 툴을 제공 - 그 중에서 원본 데이터의 후처리를 할 수 있는 기능도 존재 - Scripted field를 사용하여 원래 field의 데이터를 가공하여 새로운 필드 생성 가능 >> kibana 에서 인덱스를 생성 한 후, 해당 인덱스로 접근 >> filed 옆에 Scripted fields 클릭 후 생성 2. Scripted Field 생성 방법 - Add scripted filed 클릭 - 아래와 같이 새로운 필드를 작성 할 수 있는 페이지 확인 가능 >> 후처리 코드는 자바 문법으로 작성 해야 함 >> 작성 중인 코드의 실제 .. [Kibana] 키바나 보안 설정(Nginx 사용) 이번 포스팅은 엔지닉스를 사용하여 키바나 보안 접속에 관한 포스팅입니다 Proxy server란 프록시 서버(영어: proxy server 프록시 서버[*])는 클라이언트가 자신을 통해서 다른 네트워크 서비스에 간접적으로 접속할 수 있게 해 주는 컴퓨터나 응용 프로그램. 이 중계하는 프로그램을 Proxy 프로그램이라고 하는데 보통 서버로 작동하기에 Proxy Server로 부르는 게 일반적이다. 여러 가지의 proxy의 종류가 있으나 여기서 사용하는 건 reverse proxy Reverse Proxy : 기본적으로 Forward Proxy와 동일 하지만, 클라이언트는 Proxy Server 배후에 있는 타깃 서버의 URL이 아닌 Proxy Server의 URL로 요청한다. 이를 통해 애플리케이션 서버는.. [Elasticsearch] python에서 엘라스틱 사용하기 이번 포스팅은 파이썬에서 엘라스틱을 연결해서 데이터를 insert, delete, search 등 다양한 요청을 하는 튜토리얼입니다. 필요한 라이브러리 설치 $ pip install elasticsearch - 파이썬에서 엘라스틱을 연결하기 위해 pip으로 엘라스틱을 설치. 파이썬에서 엘라스틱 연결 from elasticsearch import Elasticsearch es = Elasticsearch('[엘라스틱_서버_IP_주소]:9200') - 엘라스틱이 설치된 서버 주소와 포트를 입력 - 파이썬에서 엘라스틱을 연결한다. 데이터 삽입 # mapping 없이 자동 인덱스 생성 def insertData(): es = Elasticsearch('[엘라스틱_서버_IP_주소]:9200') index="pro.. [Filebeat + ELK] 로그 모니터링 서버 일지 (Trouble Shooting) [Filebeat+ELK] 첫번째 로그 모니터링 서버 구축기 01. 끝없는 Trouble Shooting 1Memory 관련 에러 (ELK 6.8 기준) $ echo 1048575 > /proc/sys/vm/max_map_count 엘라스틱 종료 후 재 실행시 발생 에러 (ELK 6.8 기준) - 실행 중인 JAVA 프로세스가 있는 지 확인 # 아래 중 하나로 확인 $ ps ef | grep java (java 프로세스 확인) $ netstat -tnlp (java 프로세스 확인) - 확인 후 있다면 프로세스 종료 후 재 시작 {"error":"Content-Type header [application/x-www-form-urlencoded] is not supported","status":406} - .. [Filebeat+ELK 7.5] 로그 모니터링 서버 구축 (설치부터 설정까지) [Filebeat+ELK] 첫 번째 로그 모니터링 서버 구축기 01. 설치부터 설정까지 "실시간으로 쌓이는 로그를 통해 미쳐 발견하지 못했던 문제점 혹은 오류를 발견하고, 의미 있는 새로운 데이터를 발견하기 위해 로그를 모니터링하는 시스템을 구축하기 위함" ** 위 구성도를 기반으로 잡고, 엘라스틱 서버 구축. 성능 향상을 위해 서버가 새로 필요할 경우, Data Node를 더 추가하는 방식으로 진행함. ** 처음에는 6.8 버전으로 설치 후 현재 7.5 버전으로 모두 재설치 완료. 아래 포스팅은 7.5 버전으로 설치 진행 ** ELK 스택으로 모니터링 서버를 구축한다면, 공식문서를 보고 튜토리얼에 따라가는 것을 가장 추천함 Filebeat 설치 및 설정 파일 비트는 로그를 수집하는 서버에 설치 (로그를.. 이전 1 다음
