본문 바로가기

분류 전체보기

 (110)
[ MySQL + ELK ] Logstash과 MySQL DB 연동하기 [Filebeat+ELK] 첫번째 로그 모니터링 서버 구축기 03. MySQL DB와 연동하기 DB에 존재하는 파일들을 Logstash를 통해 전처리하여 엘라스틱서치에 전달하는 과정의 파이프라인을 진행, 또한 최종적으로 DB의 데이터를 키바나를 통해 시각화 DB-connector 다운로드 (MySQL) "우선 DB와 연결하기 위해서는 연결하기 위한 connector가 필요하다" Connector 다운 - 아래 링크를 타고 들어가면 최신 버전을 확인 할 수 있으니 확인 후 다운 $ wget 'https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.18.tar.gz' https://dev.mysql.com/downloads/conne..
[Filebeat + ELK] 로그 모니터링 서버 일지 (Trouble Shooting) [Filebeat+ELK] 첫번째 로그 모니터링 서버 구축기 01. 끝없는 Trouble Shooting 1Memory 관련 에러 (ELK 6.8 기준) $ echo 1048575 > /proc/sys/vm/max_map_count 엘라스틱 종료 후 재 실행시 발생 에러 (ELK 6.8 기준) - 실행 중인 JAVA 프로세스가 있는 지 확인 # 아래 중 하나로 확인 $ ps ef | grep java (java 프로세스 확인) $ netstat -tnlp (java 프로세스 확인) - 확인 후 있다면 프로세스 종료 후 재 시작 {"error":"Content-Type header [application/x-www-form-urlencoded] is not supported","status":406} - ..
[Filebeat+ELK 7.5] 로그 모니터링 서버 구축 (설치부터 설정까지) [Filebeat+ELK] 첫 번째 로그 모니터링 서버 구축기 01. 설치부터 설정까지 "실시간으로 쌓이는 로그를 통해 미쳐 발견하지 못했던 문제점 혹은 오류를 발견하고, 의미 있는 새로운 데이터를 발견하기 위해 로그를 모니터링하는 시스템을 구축하기 위함" ** 위 구성도를 기반으로 잡고, 엘라스틱 서버 구축. 성능 향상을 위해 서버가 새로 필요할 경우, Data Node를 더 추가하는 방식으로 진행함. ** 처음에는 6.8 버전으로 설치 후 현재 7.5 버전으로 모두 재설치 완료. 아래 포스팅은 7.5 버전으로 설치 진행 ** ELK 스택으로 모니터링 서버를 구축한다면, 공식문서를 보고 튜토리얼에 따라가는 것을 가장 추천함 Filebeat 설치 및 설정 파일 비트는 로그를 수집하는 서버에 설치 (로그를..
[Docker] 도커로 딥러닝 환경 구축하기 딥러닝 모델 학습/테스트 환경에 필요한 GPU, 주피터노트북 등 필요한 환경 구축에 관한 포스팅 도커에서 GPU 사용하기 기본 개념 - 기본적으로 Docker Image로 생성된 Container 내에서는, Host OS가 보유한 GPU 자원은 사용할 수 없다 - 따라서 도커 컨테이너 안에서 GPU 사용을 위한 설정이 필요 - 기본적으로 Host OS에는 GPU 자원이 있고, Nvidia가 설치된 상태여야 한다. - 또한 당연히 Docker도 설치된 상태여야한다 Nvidia-docker 설치 Docker에서 GPU를 사용하기 위해서는 nvidia-docker가 설치해야 한다. 1. 우선 nvidia-docker1이 설치되어있다면 확인 후 제거해야 한다 - 아래 코드는 docker 버전 ..
[Docker] 도커허브에 이미지 배포하기 개인적으로 공부한 도커 내용을 공유합니다:) 01. Docker Hub - 본인이 생성한 image를 docker hub를 통해 다른 사람들과 공유할 수 있도록 해주는 곳 - 다른 사람이 생성한 이미지를 pull 해서 사용 할 수 있다 - Docker Image들이 공유 되는 곳 https://hub.docker.com/ Docker Hub Docker Certified:Trusted & Supported Products Certified Containers provide ISV apps available as containers. Certified Plugins for networking and volumes in containers. Certified Infrastructure delivers an ..
[Docker] Ubuntu 18.04 도커 시작하기 아래 튜토리얼은 도커/쿠바네티스를 활용한 컨테이너 개발 실전 입문 책을 바탕으로 작성 한 내용입니다:) 도커 설치하기 - 우분투는 apt 패키지 관리자를 사용, 먼저 패키지 목록 업데이트 $ sudo apt update -y - 도커CE는 몇가지 패키지에 의존하므로, 아래 4가지 패키지를 설치한다 $ sudo apt install -y apt-transport-https ca-certificates curl software-properties-common - 도커 패키지 저장소를 apt에 등록한다. $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - $ sudo add-apt-repository "deb [arch=..
[Pycharm] 설치 및 서버연결(gpu설정) 아래 포스팅은 윈도우에서 Pycharm Pro를 설치하고 ssh 연결하여 원격 서버로 연동시키는 내용입니다. Pycharm 홈페이지 접속 https://www.jetbrains.com/pycharm/download/#section=windows Download PyCharm: Python IDE for Professional Developers by JetBrains Intelligent Python IDE with refactorings, debugger, code completion, on-the-fly code analysis and coding productivity orientation www.jetbrains.com - 파이참 홈페이지에 접속해서 다운로드하기 - ssh로 서버와 연동하기 위해서..
[Project] DeepLearning 발표자료(OCR, TFserving) 아래 발표자료 PPT는 플레이데이터 데모데이 발표에 사용한 크래커팀의 발표자료입니다. Final Presentation - OCR을 구현하기위해 딥러닝을 사용하여 프로젝트를 진행하였습니다. Index Data Preparation_ENG/KR Transfer Learning Model Flow Deep Learing Model Seglink ( Text Localization ) CRNN ( Text Recognition ) Focal CTC Loss Model Training Model Serving ( TF Serving )

티스토리툴바