ELK 스택/Filebeat+ELK (9) 썸네일형 리스트형 [Kibana] Kibana 시간 설정 (+logstash) 로그 스테이시에서 전처리 후 키바나로 데이터를 전송할 때 경험한 시간 설정과 관련된 Trouble Shooting 기록 "이 포스팅은 키바나 7.8.0 버전 기준으로 작성되었습니다." 1. 키바나 시간 설정 Kibana > Advanced Settings 설정 Timezone for data formatting 설정 > 이곳에서 키바나에 보이는 데이터의 타임존을 설정할 수 있다. > 기본 세팅은 Browser 로서, 현재 사용하는 브라우저의 타임존을 감지하여 적용해준다. > UTC 등, 다른 타임존을 선택할 수 있다 2. 로그스테이시 타임존 설정 /etc/logstash/conf.d/custom.conf 설정 파일 input { } filter { // 필터링 date { match => ["필드명", .. [ELK] 보안처리를 위한 ELK 스택 구축 ( Docker-compose) 이번 포스팅은 엘라스틱과 키바나에 보안접속을 할 수 있도록 추가하여, 도커 컴포즈를 사용하여 구축하는 내용에 관한 포스팅 아래 내용은 Elasticsearch with docker-compose 내용을 기반으로 작성되었습니다. (엘라스틱 공식문서) www.elastic.co/guide/en/elastic-stack-get-started/7.8/get-started-docker.html#get-started-docker-tls Running the Elastic Stack on Docker | Getting Started [7.8] | Elastic At this point, Kibana cannot connect to the Elasticsearch cluster. You must generate a p.. [Elasticsearch] 도커 컴포즈를 사용하여 엘라스틱 사용 이번 포스팅은 도커 컨테이너를 사용하여 엘라스틱 서버를 구성하고 사용하는 포스팅으로 공식문서를 기반으로 작성되었습니다. [ 엘라스틱 스택 관련 도커 이미지는 아래를 참고 ] www.docker.elastic.co Docker @ Elastic Docker @ Elastic On this page, you'll find all the resources — docker commands, links to product release notes, documentation and source code — for installing and using our Docker images. www.docker.elastic.co [ Single node 엘라스틱 ] 엘라스틱 이미지 다운 엘라스틱 최신 버전 이미지를 pul.. [Logstash] 로그스테이시 사용법 (설정파일) + Elastic 이번 포스팅은 로그 스테이시에서 사용하는 다양한 설정과 로그를 필터링하는 방법에 대한 내용입니다. Logstash란 로그 스테이시는 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이다. 로그 스테이시는 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있는 능력을 가진다. 로그스테이시는 원래 로그 수집의 혁신을 주도했지만, 그 가능성은 실제 사용 사례를 통해 훨씬 더 열렸다. 다양한 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강하고 변환할 수 있으며, 많은 기본 코텍이 처리 과정을 단순화한다. 따라서 로그 스테이시는 더 많은 양과 다양한 데이터를 활용하여 통찰력 있게 보는 것을 가능하게 해 준다. 💡Logstash 공식 문서 : www.ela.. [Kibana] 데이터 후처리를 위한 Scripted field 사용 이번 포스팅은 엘라스틱에 적재 된 데이터의 후처리를 위해 키바나에서 script field 사용법에 대한 포스팅. 1. 키바나 접속 - 키바나에서는 데이터의 시각화를 위한 다양한 툴을 제공 - 그 중에서 원본 데이터의 후처리를 할 수 있는 기능도 존재 - Scripted field를 사용하여 원래 field의 데이터를 가공하여 새로운 필드 생성 가능 >> kibana 에서 인덱스를 생성 한 후, 해당 인덱스로 접근 >> filed 옆에 Scripted fields 클릭 후 생성 2. Scripted Field 생성 방법 - Add scripted filed 클릭 - 아래와 같이 새로운 필드를 작성 할 수 있는 페이지 확인 가능 >> 후처리 코드는 자바 문법으로 작성 해야 함 >> 작성 중인 코드의 실제 .. [Kibana] 키바나 보안 설정(Nginx 사용) 이번 포스팅은 엔지닉스를 사용하여 키바나 보안 접속에 관한 포스팅입니다 Proxy server란 프록시 서버(영어: proxy server 프록시 서버[*])는 클라이언트가 자신을 통해서 다른 네트워크 서비스에 간접적으로 접속할 수 있게 해 주는 컴퓨터나 응용 프로그램. 이 중계하는 프로그램을 Proxy 프로그램이라고 하는데 보통 서버로 작동하기에 Proxy Server로 부르는 게 일반적이다. 여러 가지의 proxy의 종류가 있으나 여기서 사용하는 건 reverse proxy Reverse Proxy : 기본적으로 Forward Proxy와 동일 하지만, 클라이언트는 Proxy Server 배후에 있는 타깃 서버의 URL이 아닌 Proxy Server의 URL로 요청한다. 이를 통해 애플리케이션 서버는.. [ MySQL + ELK ] Logstash과 MySQL DB 연동하기 [Filebeat+ELK] 첫번째 로그 모니터링 서버 구축기 03. MySQL DB와 연동하기 DB에 존재하는 파일들을 Logstash를 통해 전처리하여 엘라스틱서치에 전달하는 과정의 파이프라인을 진행, 또한 최종적으로 DB의 데이터를 키바나를 통해 시각화 DB-connector 다운로드 (MySQL) "우선 DB와 연결하기 위해서는 연결하기 위한 connector가 필요하다" Connector 다운 - 아래 링크를 타고 들어가면 최신 버전을 확인 할 수 있으니 확인 후 다운 $ wget 'https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.18.tar.gz' https://dev.mysql.com/downloads/conne.. [Filebeat + ELK] 로그 모니터링 서버 일지 (Trouble Shooting) [Filebeat+ELK] 첫번째 로그 모니터링 서버 구축기 01. 끝없는 Trouble Shooting 1Memory 관련 에러 (ELK 6.8 기준) $ echo 1048575 > /proc/sys/vm/max_map_count 엘라스틱 종료 후 재 실행시 발생 에러 (ELK 6.8 기준) - 실행 중인 JAVA 프로세스가 있는 지 확인 # 아래 중 하나로 확인 $ ps ef | grep java (java 프로세스 확인) $ netstat -tnlp (java 프로세스 확인) - 확인 후 있다면 프로세스 종료 후 재 시작 {"error":"Content-Type header [application/x-www-form-urlencoded] is not supported","status":406} - .. 이전 1 2 다음
