엘라스틱 (9) 썸네일형 리스트형 [Kibana] Kibana 시간 설정 (+logstash) 로그 스테이시에서 전처리 후 키바나로 데이터를 전송할 때 경험한 시간 설정과 관련된 Trouble Shooting 기록 "이 포스팅은 키바나 7.8.0 버전 기준으로 작성되었습니다." 1. 키바나 시간 설정 Kibana > Advanced Settings 설정 Timezone for data formatting 설정 > 이곳에서 키바나에 보이는 데이터의 타임존을 설정할 수 있다. > 기본 세팅은 Browser 로서, 현재 사용하는 브라우저의 타임존을 감지하여 적용해준다. > UTC 등, 다른 타임존을 선택할 수 있다 2. 로그스테이시 타임존 설정 /etc/logstash/conf.d/custom.conf 설정 파일 input { } filter { // 필터링 date { match => ["필드명", .. [Elasticsearch] 도커 컴포즈를 사용하여 엘라스틱 사용 이번 포스팅은 도커 컨테이너를 사용하여 엘라스틱 서버를 구성하고 사용하는 포스팅으로 공식문서를 기반으로 작성되었습니다. [ 엘라스틱 스택 관련 도커 이미지는 아래를 참고 ] www.docker.elastic.co Docker @ Elastic Docker @ Elastic On this page, you'll find all the resources — docker commands, links to product release notes, documentation and source code — for installing and using our Docker images. www.docker.elastic.co [ Single node 엘라스틱 ] 엘라스틱 이미지 다운 엘라스틱 최신 버전 이미지를 pul.. [번역] How to Realize a Practical Similarity Search with Elasticsearch 유사 이미지 검색 분야 관련 블로그 글을 번역 & 실제 테스트하는 내용의 포스팅입니다. "원본 링크 [출처] https://medium.com/@kumon/how-to-realize-similarity-search-with-elasticsearch-3dd5641b9adb" 이전 포스트에서 언급했듯이 아마존 엘라스틱 서비스의 kNN 기능이 지연시간 있었다. 아마존 ES 팀으로부터 지원을 받아, 실제 구성 및 제한이 명확 해졌다. Introduction 이전 포스트에서, 벡터의 차원이 1280인 약 1M의 데이터를 엘라스틱에 넣었다. 그러나 각각의 쿼리 요청 당 대략 15초의 쿼리 지연시간은 실용적이지 못했다. 아마존의 ES팀은 목적에 적합한 구성을 해야 한다고 조언했다. Elasticsearch에 익숙한 .. [Elasticsearch] Scroll API 사용하기 (전체 문서 읽어오기) 이번 포스팅은 엘라스틱 서치에서 전체 문서를 가져오기 위해, 스크롤 API를 사용하는 방법에 관한 포스팅입니다. Elasticsearch Scoll API란, Scroll API search 요청이 하나의 페이지를 결과로 리턴하는 동안, scrooll API는 하나의 search 요청에서 많은 수의 결과 리턴을 가능하게 해 준다. 이러한 방법은 전통적인 데이터베이스의 커서를 사용하는 것과 같은 방식이라고 생각할 수 있다. Scrolling은 실시간으로 유저의 요청을 처리하기 위해 의도된 것이 아니라 대량의 데이터를 처리하기 위한 것 (예를 들면, 한 인덱스를 다른 구성으로 된 새로운 인덱스로 리인덱스 해주기 위함) Scrolling을 사용하기 위해, 초기 검색 요청 시 scroll 파라미터를 쿼리문에 명.. [Kibana] 키바나 보안 설정(Nginx 사용) 이번 포스팅은 엔지닉스를 사용하여 키바나 보안 접속에 관한 포스팅입니다 Proxy server란 프록시 서버(영어: proxy server 프록시 서버[*])는 클라이언트가 자신을 통해서 다른 네트워크 서비스에 간접적으로 접속할 수 있게 해 주는 컴퓨터나 응용 프로그램. 이 중계하는 프로그램을 Proxy 프로그램이라고 하는데 보통 서버로 작동하기에 Proxy Server로 부르는 게 일반적이다. 여러 가지의 proxy의 종류가 있으나 여기서 사용하는 건 reverse proxy Reverse Proxy : 기본적으로 Forward Proxy와 동일 하지만, 클라이언트는 Proxy Server 배후에 있는 타깃 서버의 URL이 아닌 Proxy Server의 URL로 요청한다. 이를 통해 애플리케이션 서버는.. [Elasticsearch] 실전 쿼리 사용법 이번 포스팅은 엘라스틱을 사용하면서 필요한 쿼리 문법 사용에 관한 포스팅입니다. 1. 인덱스는 유지, 안의 document를 모두 삭제하는 쿼리 POST [인덱스이름]/_delete_by_query { "query": { "match_all": {} } } - 위와 같이 하면, 생성한 인덱스와 매핑은 유지되면서, 안에 적재한 데이터가 삭제된다 - 삭제는 주의, 또 주의해야함 >> 아래는 command 버전 명령어 curl -X POST "localhost:9200/[인덱스이름]/_delete_by_query?conflicts=proceed&pretty" -H 'Content-Type: application/json' -d' { "query": { "match_all": {} } }' 2. 인덱스 삭제 D.. [Elasticsearch] Plugin 설치 및 적용 이번 포스팅은 엘라스틱서치 플러그인 사용과 실제 검색 시 적용되는 예제에 관한 포스팅입니다. "이미지 검색에 관한 검색엔진을 만드는 데 사용하는 벡터 검색 플러그인" 1. 적용 할 플러그인 검색 - 이번 벡터 검색에 사용 할 엘라스틱 검색 플러그인 https://github.com/lior-k/fast-elasticsearch-vector-scoring lior-k/fast-elasticsearch-vector-scoring Score documents using embedding-vectors dot-product or cosine-similarity with ES Lucene engine - lior-k/fast-elasticsearch-vector-scoring github.com - embeddi.. [Elasticsearch] python에서 엘라스틱 사용하기 이번 포스팅은 파이썬에서 엘라스틱을 연결해서 데이터를 insert, delete, search 등 다양한 요청을 하는 튜토리얼입니다. 필요한 라이브러리 설치 $ pip install elasticsearch - 파이썬에서 엘라스틱을 연결하기 위해 pip으로 엘라스틱을 설치. 파이썬에서 엘라스틱 연결 from elasticsearch import Elasticsearch es = Elasticsearch('[엘라스틱_서버_IP_주소]:9200') - 엘라스틱이 설치된 서버 주소와 포트를 입력 - 파이썬에서 엘라스틱을 연결한다. 데이터 삽입 # mapping 없이 자동 인덱스 생성 def insertData(): es = Elasticsearch('[엘라스틱_서버_IP_주소]:9200') index="pro.. 이전 1 2 다음
