ELK stack13 [ELK] 13. kibana 살펴보기 Kibana 2022.06.21 - [ELK stack] - [ELK] 1. Elastic Stack [ELK] 1. Elastic Stack 필자는 파이썬(python, numpy, pandas, matplotlib, plotly)을 활용한 데이터 전처리, 피처 엔지니어링, 모델링을 진행한 경험이 다수 있지만, 서비스 단계에서 사용하는 데이터 파이프라인은 경험해보지 못 wnstjrdl.tistory.com kibana를 실행하면 아래와 같은 화면이 나오는데, 이것은 메인 화면입니다. 그리고 주로 사용하는 옵션은 왼쪽 상단 드롭 박스의 Analytics > Discover, Dashboard입니다. 이때까지 아파치 로그 데이터를 우리가 원하는 필드 매핑에 맞게 인덱스 재색인 과정을 거쳐 mylogs-{날.. 2022. 7. 5. [ELK] 12. elasticsearch 샤드 Elastisearch에서는 단일 데이터 단위를 도큐먼트라고 하며 이 도큐먼트를 모아놓은 집합을 인덱스라고 합니다. 인덱스는 RDB에서 테이블과 같은 개념이라고 보시면 됩니다. 여기선 데이터를 Elasticsearch에 저장하는 행위는 색인, 그리고 도큐먼트의 집합 단위는 인덱스라고 하겠습니다. 인덱스는 기본적으로 샤드라는 단위로 분리되고 각 노드에 분산되어 저장됩니다. 샤드는 루씬 기반의 단일 검색 인스턴스입니다. 다음은 하나의 인덱스가 5개의 샤드로 저장되도록 설정한 예제입니다. 프라이머리 샤드(Primary Shard)와 복제본(Replica) 인덱스를 생성할 때 별도의 설정이 없다면 디폴트로 1개의 샤드로 인덱스가 구성됩니다. 그리고 클러스터에 노드를 추가하면 샤드들이 각 노드들로 분산되고 디폴트.. 2022. 7. 4. [ELK] 11. elasticsearch 인덱스 재색인 (2) - 인덱스 템플릿과 스크립트 사용 인덱스 템플릿 아파치 로그 형태의 데이터를 같은 매핑 형태로 넣어주기 위해서 _index_template 활용합니다. PUT /_index_template/mylogs { "index_patterns" : [ "mylogs*" ], "priority" : 10, "template": { "mappings": { "properties" : { {재설정한 필드 매핑} } } } } mylogs라는 인덱스 템플릿 확인 - 지우는 건 DELETE GET _index_template/mylogs DELETE _index_template/mylogs 인덱스 재색인 인덱스 재색인을 위해 source에 apachelog-*의 이름의 파일들을 전체 적용합니다. 주의할 점은 dest에 mylogs-*로 하면 되지 않을까?.. 2022. 7. 3. [ELK] 10. elasticsearch 인덱스 재색인 (1) - 필드 매핑 개선 필드 매핑 개선 전 포스팅까지 진행했다면 아파치 로그 데이터들을 elasticsearch에 모두 다운로드했다고 가정하겠습니다. apachelog-{yyyy.MM.dd} 인덱스들 중 "apachelog-2020-08-08" 사용하겠습니다. _mapping 으로 자동 생성된 필드들의 정보 확인 GET apachelog-2020-08-08/_search GET apachelog-2020-08-08/_mapping - 필드들의 타입과 속성들을 알 수 있습니다. 그리고 적합하지 않은 타입의 필드들을 개선할 필요가 있습니다. 필드 매핑 개선 적합하지 않은 타입의 필드들을 개선한 새로운 인덱스를 생성하겠습니다. 1. @timestamp : date(날짜) 필드 2. auth : keyword 3. clientip :.. 2022. 7. 1. [ELK] 9. filebeat - logstash - elasticsearch beats 2022.06.21 - [ELK stack] - [ELK] 1. Elastic Stack [ELK] 1. Elastic Stack 필자는 파이썬(python, numpy, pandas, matplotlib, plotly)을 활용한 데이터 전처리, 피처 엔지니어링, 모델링을 진행한 경험이 다수 있지만, 서비스 단계에서 사용하는 데이터 파이프라인은 경험해보지 못 wnstjrdl.tistory.com filebeat 전 포스팅에서 아파치 웹 로그 데이터를 받았기 때문에, 그것을 활용하기 위해 여러 beats 중 filebeat를 사용하겠습니다. 2022.06.29 - [ELK stack] - [ELK] 8. Logstash 실행 및 filter 설정 [ELK] 8. Logstash 실행 및 filt.. 2022. 6. 30. [ELK] 8. Logstash 실행 및 filter 설정 Logstash 2022.06.21 - [ELK stack] - [ELK] 1. Elastic Stack [ELK] 1. Elastic Stack 필자는 파이썬(python, numpy, pandas, matplotlib, plotly)을 활용한 데이터 전처리, 피처 엔지니어링, 모델링을 진행한 경험이 다수 있지만, 서비스 단계에서 사용하는 데이터 파이프라인은 경험해보지 못 wnstjrdl.tistory.com 커맨더 라인으로 logstash 실행 Mac, Unix & Linux Windows 파이프라인 구성 logstash 실행을 위한 2가지 방법 (with configurations) -e : Set configurations in command line -f : If configurations ar.. 2022. 6. 29. 이전 1 2 3 다음
