ELK스택 (4) 썸네일형 리스트형 [Elasticsearch] 도커 컴포즈를 사용하여 엘라스틱 사용 이번 포스팅은 도커 컨테이너를 사용하여 엘라스틱 서버를 구성하고 사용하는 포스팅으로 공식문서를 기반으로 작성되었습니다. [ 엘라스틱 스택 관련 도커 이미지는 아래를 참고 ] www.docker.elastic.co Docker @ Elastic Docker @ Elastic On this page, you'll find all the resources — docker commands, links to product release notes, documentation and source code — for installing and using our Docker images. www.docker.elastic.co [ Single node 엘라스틱 ] 엘라스틱 이미지 다운 엘라스틱 최신 버전 이미지를 pul.. [Logstash] 로그스테이시 사용법 (설정파일) + Elastic 이번 포스팅은 로그 스테이시에서 사용하는 다양한 설정과 로그를 필터링하는 방법에 대한 내용입니다. Logstash란 로그 스테이시는 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이다. 로그 스테이시는 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있는 능력을 가진다. 로그스테이시는 원래 로그 수집의 혁신을 주도했지만, 그 가능성은 실제 사용 사례를 통해 훨씬 더 열렸다. 다양한 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강하고 변환할 수 있으며, 많은 기본 코텍이 처리 과정을 단순화한다. 따라서 로그 스테이시는 더 많은 양과 다양한 데이터를 활용하여 통찰력 있게 보는 것을 가능하게 해 준다. 💡Logstash 공식 문서 : www.ela.. [Kibana] 데이터 후처리를 위한 Scripted field 사용 이번 포스팅은 엘라스틱에 적재 된 데이터의 후처리를 위해 키바나에서 script field 사용법에 대한 포스팅. 1. 키바나 접속 - 키바나에서는 데이터의 시각화를 위한 다양한 툴을 제공 - 그 중에서 원본 데이터의 후처리를 할 수 있는 기능도 존재 - Scripted field를 사용하여 원래 field의 데이터를 가공하여 새로운 필드 생성 가능 >> kibana 에서 인덱스를 생성 한 후, 해당 인덱스로 접근 >> filed 옆에 Scripted fields 클릭 후 생성 2. Scripted Field 생성 방법 - Add scripted filed 클릭 - 아래와 같이 새로운 필드를 작성 할 수 있는 페이지 확인 가능 >> 후처리 코드는 자바 문법으로 작성 해야 함 >> 작성 중인 코드의 실제 .. [ MySQL + ELK ] Logstash과 MySQL DB 연동하기 [Filebeat+ELK] 첫번째 로그 모니터링 서버 구축기 03. MySQL DB와 연동하기 DB에 존재하는 파일들을 Logstash를 통해 전처리하여 엘라스틱서치에 전달하는 과정의 파이프라인을 진행, 또한 최종적으로 DB의 데이터를 키바나를 통해 시각화 DB-connector 다운로드 (MySQL) "우선 DB와 연결하기 위해서는 연결하기 위한 connector가 필요하다" Connector 다운 - 아래 링크를 타고 들어가면 최신 버전을 확인 할 수 있으니 확인 후 다운 $ wget 'https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.18.tar.gz' https://dev.mysql.com/downloads/conne.. 이전 1 다음
