본문 바로가기

logstash3

[ELK] 9. filebeat - logstash - elasticsearch beats 2022.06.21 - [ELK stack] - [ELK] 1. Elastic Stack [ELK] 1. Elastic Stack 필자는 파이썬(python, numpy, pandas, matplotlib, plotly)을 활용한 데이터 전처리, 피처 엔지니어링, 모델링을 진행한 경험이 다수 있지만, 서비스 단계에서 사용하는 데이터 파이프라인은 경험해보지 못 wnstjrdl.tistory.com filebeat 전 포스팅에서 아파치 웹 로그 데이터를 받았기 때문에, 그것을 활용하기 위해 여러 beats 중 filebeat를 사용하겠습니다. 2022.06.29 - [ELK stack] - [ELK] 8. Logstash 실행 및 filter 설정 [ELK] 8. Logstash 실행 및 filt.. 2022. 6. 30.
[ELK] 8. Logstash 실행 및 filter 설정 Logstash 2022.06.21 - [ELK stack] - [ELK] 1. Elastic Stack [ELK] 1. Elastic Stack 필자는 파이썬(python, numpy, pandas, matplotlib, plotly)을 활용한 데이터 전처리, 피처 엔지니어링, 모델링을 진행한 경험이 다수 있지만, 서비스 단계에서 사용하는 데이터 파이프라인은 경험해보지 못 wnstjrdl.tistory.com 커맨더 라인으로 logstash 실행 Mac, Unix & Linux Windows 파이프라인 구성 logstash 실행을 위한 2가지 방법 (with configurations) -e : Set configurations in command line -f : If configurations ar.. 2022. 6. 29.
[ELK] 1. Elastic Stack 필자는 파이썬(python, numpy, pandas, matplotlib, plotly)을 활용한 데이터 전처리, 피처 엔지니어링, 모델링을 진행한 경험이 다수 있지만, 서비스 단계에서 사용하는 데이터 파이프라인은 경험해보지 못했다. 그리고 최근 사용자 로그 데이터에 호기심이 생겨서 그 처리에 대한 고민도 있었다. 그래서, 데이터 파이프라인을 경험하기 위해서 여러 가지 프레임워크 중 ELK Stack을 사용하기로 결정했다. 가이드라인은 elastic 공식문서와 elastic Senior Developer Advocate인 김종민 님의 유튜브 영상을 참고할 것이다. https://www.youtube.com/watch?v=Ks0P49B4OsA&list=PLhFRZgJc2afp0gaUnQf68kJHPXLG.. 2022. 6. 21.