Elasticsearch 지연 현상

Elasticsearch에서 알 수 없는 이유로 데이터 삽입이 느린 상황을 발견했습니다. Elasticsearch 숙력도가 낮아 어떻게 분석해야할지 몰랐기 때문에 어떤 문제로 속도가 느린지 감이 안왔습니다. 네트워크가 느린건지, 속도가 느린건지 등 어떤 관점에서 분석해야하는지 알 수가 없었죠.

 

결과론적으로 각 인스턴스 자원(cpu, memory)를 scale up을 해서 지연을 없앴습니다. 컨테이너 로그가 분당 2천만건 이상 Elasticsearch으로 쌓이는 상황이어서, Elasticsearch가 indexing과 데이터를 저장하는 속도가 느린 걸로 판단이 되었습니다. 그렇지만, 앞으로 이런 상황이 나온다면 어떻게 분석을 해서 cpu/memory가 부족한지 판단할지 어려운 것 같습니다.