Kay's devlog

Elasticsearch를 처음 접했을 때 이해하가 어려웠던 것 중 하나는 Elasticsearch cluster는 어떻게 구성돼 있는지였다. 오늘은 Elasticsearch cluster가 어떻게 구성돼있고, 각각 구성에 대해 살펴보자. Elasticsearch Cluster 구성 ElasticSearch cluster는 하나 이상의 node, node는 하나 이상의 index, index는 하나 이상의 shard로 구성돼있다. 다시 말해, 여러 shard가 모여서 index를 구성하고, 즉, index는 물리적으로 나뉘어진 shard 조각들의 논리적인 집합이고, 이 shard 조각들이 여러 node에 균등하게 저장된다. 이 여러 node가 보여 군집을 이룬 것을 cluster라 부른다. 1. node..

서론 Elasticsearch를 처음 도입해야 하는 경우, 클러스터가 기존보다 더 좋은 성능이 나오게 하고 싶은 경우, index를 더 효율적으로 보관하고 싶은경우, 또는 여러가지 이유 등으로 Elastissearch를 사용하는 엔지니어라면 node 구성을 어떻게 하는 것이 좋을지를 한 번쯤은 고민해봤을 것이다. 최근 Elasticsearch의 클러스터 성능을 높이고 index를 더 효율적으로 보관하기 위해 여러가지 방법을 리서치를 했는데 이에 관한 내용을 게재해볼 예정이다. 이번에 게재할 내용은 Hot-Warm architecture로 index를 효율적으로 오래 보관하는 방법을 소개하고자 한다. 시계열성 index라면 도입해볼만 하다 Hot-Warm architecture를 테스트 해보고 싶다면 ht..

Elasticsearch(엘라스틱서치)에서는 데이터를 백업(back) 하기 위해 data 디렉터리를 copy & paste 해서는 안된다. 백업하기 위한 방법으로 스냅샷(snapshto)이 유일하고 복원하기 위해서는 이 스냅샷으로 부터 restore 해야 한다. 다행히도 편리한 스냅샷, 복원을 위해 엘라스틱서치 자체적으로 API를 제공하고 있으며 방법도 어렵지 않다. 심지어 파일 시스템뿐만 아니라 AWS의 S3 등과도 쉽게 연동되도록 여러 플러그인(plugin)도 제공한다 현재 최신 버전이 7.5.0이므로 7.5.0 버전의 엘라스틱서치를 기준으로 스냅샷, 백업 방법을 정리한다. 스냅샷 방법만 간단히 소개하기 위해 엘라스틱서치 노드의 개수는 1개로 제한했고, 로컬 파일 시스템에 스냅샷이 백업되도록 했다. ..

다양한 OS에서 더 쉽게 설치, 테스트, 배포하기 쉽도록 Docker로 설치하는 법을 정리한다. 정리한 내용이 정확하지 않다면 공식 사이트를 참고해도 좋을 것 같다. https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html Install Elasticsearch with Docker | Elasticsearch Reference [7.4] | Elastic The container runs Elasticsearch as user elasticsearch using uid:gid 1000:1000**. Bind mounted host directories and files must be accessible by this user..

Elasticsearch 7.4.2를 Ubuntu Server 18.04에 설치할 일이 생겨서 정리해본다. 블로그 설명이 정확하지 않다면 설치 방법은 공식사이트(https://www.elastic.co/guide/en/elasticsearch/reference/current/deb.html)를 보면 된다. 1. 설치파일 다운로드 우선 설치파일을 다운로드(https://www.elastic.co/kr/downloads/elasticsearch) 받는다. Elasticsearch 설치파일은 OS에 따라 다른데, 이 포스팅은 Ubuntu Server 18.04에 설치할 것이라서 Debian packag를 받아야 한다. Linux package도 있는데 이것을 받아서 설치하지 않도록 주의하자. 또 한 가지 주의..