[Filebeat + ELK] 로그 모니터링 서버 일지 (Trouble Shooting)

[Filebeat+ELK] 첫번째 로그 모니터링 서버 구축기

01. 끝없는 Trouble Shooting

 

 

 

 

1Memory 관련 에러 (ELK 6.8 기준)

$ echo 1048575 > /proc/sys/vm/max_map_count

 

엘라스틱 종료 후 재 실행시 발생 에러 (ELK 6.8 기준)

- 실행 중인 JAVA 프로세스가 있는 지 확인

 # 아래 중 하나로 확인
 $ ps ef | grep java (java 프로세스 확인)
 
 $ netstat -tnlp (java 프로세스 확인)

- 확인 후 있다면 프로세스 종료 후 재 시작

 

 

{"error":"Content-Type header [application/x-www-form-urlencoded] is not supported","status":406}

- 커맨드 라인 끝에 아래와 같이 타입 설정이 필요 (ELK 6.8 기준)

 -H ‘Content=Type: application/json’

 

Null object returned for RollingFile in Appenders (ELK 6.8 기준)

- path.data 혹은 path.logs 주석 처리 시 발생 > 주석 제거

 

단순 접속 에러

- ELK 스택에서 사용 중인 포트가 열려있는 지 확인

  ex) Elasticsearch : 9200, 9300, Logstash : 5044, Kibana : 5601 

- 사용 중인 포트의 경우 확인 후 열어주기

$ iptables -I INPUT -p tcp --pdport [포트] -j ACCEPT

- 클라우드 서버 사용 시 클라우드 서비스에서 방화벽 설정 필요

 

Retrying individual bulk actions that failed or were rejected by the previous bulk request. {:count=>125}

- ES 혹은 Kibana의 디스크 용량이 가득 찰 경우 ES 내부 옵션에서 read-only로 변경이 된다.

- 아래와 같이 쿼리를 날려 설정을 해준다

 

Field data = true 에러 (ELK 6.8 기준)

- 아래와 같이 특정 필드의 값을 변경

 

Include_type_name 에러 (ELK 7.5 기준)

- 요청 보낼 때 파라미터로 ?include_type_name=true를 같이 보내주면 에러 해결

 

Kibana Stack Monitoring 사용 시 에러 발생 (ELK 7.5 기준)

- elasticsearch.yml 설정 파일 수정

$ vi /etc/elasticsearch/elasticsearch.yml
  #아래 2줄 추가하기
  xpack.monitoring.enabled: true
  xpack.monitoring.collection.enabled: true

- 아래와 같은 에러 화면 발생 시

- elasticsearch.yml에서 ingest.node = true 로 변경

 

 

기본 시스템 자원 제한 수정 

$ vi /etc/security/limits.conf

- 추가로 ulimit -n 65535

- 아래 설정 파일에서 root 대신 elasticsearch 유저를 입력

 

- 설정이 제대로 적용이 되었는지 확인

 

 

Bootstrap.memory_lock: true 관련 에러 (ELK 7.5 기준)

- Debian Package로 설치 시 적용

- 공식문서 참고 : https://www.elastic.co/guide/en/elasticsearch/reference/7.5/setup-configuration-memory.htm

$ vi /etc/systemd/system/elasticsearch.serice.d/override.conf
# 아래 두줄 내용 추가하기
[Service]
LimitMEMLOCK=infinity]

# 변경한 설정 저장 후 아래 실행
$ sudo systemctl daemon-reload

 

node의 설정이 변경되었을 경우 발생에러 해결 (ELK 7.5 기준)

- Mater node겸 Data node로 설정했던 노드가 Master-node only로 변경 시 충돌 에러 발생

$ ./bin/elasticsearch-node repurpose

- 위 명령어 입력시 해결 완료

 

 

Filebeat config error

- data.path: ["데이터 경로"] 이 서식에 맞게 입력해야함

 

 

로그가 중복되어 쌓이고 있는 경우 (파일비트 > 로그스테이시 > 엘라스틱 > 키바나)

$ systemctl stop filebeat

- 위 명령어가 완벽하게 적용이 안되어 2중으로 filebeat가 돌아가는 경우가 발생

- 이때 registry 에러도 같이 발생한다.

- filebeat 프로세스 확인 후 확실하게 종료한 뒤 재시작