반응형
▶ 영상: youtu.be/RMnhhU-LJTY
1. 문제점
kibana에서 엘라스틱에 저장된 index를 불러올 때 aggregation을 수행합니다. 문제는 변환이 실패한 로그는 키바나에서 불러올 수가 없습니다. 심지어 실패 메세지도 없어서 로그가 손실을 알아채기가 어렵습니다.
2. 상세내용
log는 elasticsearch에 저장된 데이터입니다. 키바나 visualize에서 log로 접근을 못하고 aggregation이 끝난 log.keyword로 접근이 가능합니다. missing value옵션을 체크하고 log.keyword데이터를 보면 aggregation이 실패한 갯수가 많은 것을 볼 수 있습니다.
3. 임시 해결
실무에서는 적용해보지 않았지만 fluent-bit에서 데이터를 정제해서 보내면 키바나에서 잘 불러왔습니다. 하지만, 이렇게 되면 원본 로그는 손실되는 단점이 있습니다.
반응형
'전공영역 공부 기록' 카테고리의 다른 글
| anti-affnity를 활용한 장애대비 전략 (0) | 2020.12.29 |
|---|---|
| 쿠버네티스 로그 수집 원리 (0) | 2020.12.28 |
| 리눅스 base64인코딩 사용시 주의사항 (0) | 2020.12.24 |
| 파이썬 부모 디렉터리 경로 구하기 (0) | 2020.12.22 |
| aws VPC 생성 (0) | 2020.12.22 |