본문 바로가기

filebeat

(3)
[ Trouble Shooting ] 서비스 중 발견한 문제 발생 및 해결 이번 포스팅은 서비스 운영 중 발생한 트러블 슈팅에 대한 기록입니다. Invalid request block size 서비스 도중 uwsgi의 로그 확인 도중 아래와 같은 로그 확인 [ 문제 발생 ] > uWSGI는 디폴트로 각 요청의 헤더에 대해 매우 작은 버퍼 크기를 할당한다(4096 bytes) > 해당 요청의 버퍼 크기가 max 사이즈를 초과해서 유효하지 않은 요청이라고 502 Bad Gateway 에러가 발생 [ 해결 방안 ] uWSGI의 buffer size 세팅 값을 변경한다. buffer-size=32768 pymysql timeout 설정 Main DB의 CPU 과부하로 인해 DB connection이 오래 걸리는 문제가 발생함. pymysql 사용 시 default설정이 no timeo..
[Filebeat + ELK] 로그 모니터링 서버 일지 (Trouble Shooting) [Filebeat+ELK] 첫번째 로그 모니터링 서버 구축기 01. 끝없는 Trouble Shooting 1Memory 관련 에러 (ELK 6.8 기준) $ echo 1048575 > /proc/sys/vm/max_map_count 엘라스틱 종료 후 재 실행시 발생 에러 (ELK 6.8 기준) - 실행 중인 JAVA 프로세스가 있는 지 확인 # 아래 중 하나로 확인 $ ps ef | grep java (java 프로세스 확인) $ netstat -tnlp (java 프로세스 확인) - 확인 후 있다면 프로세스 종료 후 재 시작 {"error":"Content-Type header [application/x-www-form-urlencoded] is not supported","status":406} - ..
[Filebeat+ELK 7.5] 로그 모니터링 서버 구축 (설치부터 설정까지) [Filebeat+ELK] 첫 번째 로그 모니터링 서버 구축기 01. 설치부터 설정까지 "실시간으로 쌓이는 로그를 통해 미쳐 발견하지 못했던 문제점 혹은 오류를 발견하고, 의미 있는 새로운 데이터를 발견하기 위해 로그를 모니터링하는 시스템을 구축하기 위함" ** 위 구성도를 기반으로 잡고, 엘라스틱 서버 구축. 성능 향상을 위해 서버가 새로 필요할 경우, Data Node를 더 추가하는 방식으로 진행함. ** 처음에는 6.8 버전으로 설치 후 현재 7.5 버전으로 모두 재설치 완료. 아래 포스팅은 7.5 버전으로 설치 진행 ** ELK 스택으로 모니터링 서버를 구축한다면, 공식문서를 보고 튜토리얼에 따라가는 것을 가장 추천함 Filebeat 설치 및 설정 파일 비트는 로그를 수집하는 서버에 설치 (로그를..