ML outlier detection

Orz ... peace of mind

• 데이터 파이프라인 구성과 관리를 위해 Apache Airflow 사용

• 하지만 장애는 Airflow 와는 별도로 지속적으로 발생하고 ...

• 그러 그러 해서 outlier detection / anomaly detection 에 관심이 생김 !

• 데이터 엔지니어링 팀이 답해야 하는 가장 중요한 질문은? 데이터 "정상"으로 유무 확인

Discovery

• airflow provider anomaly detection github 관련 오픈 소스 포착

• This post started with the article below. Thank you very much.

• Painless Anomaly Detection with Apache Airflow

Draft Architects

(작성중 ...)

ref

• 1. 이상 탐지를 위한 다변량, 다단계, LSTM
• 2. 베어링의 진동센서 데이터에서 이상 감지, 시계열 데이터에 대한 이상 탐지를 위한 심층 학습 신경망 만들기
• 3. 기계 학습(scikit-learn, pandas)을 사용한 시스템 로그의 이상 탐지
• 4. 복잡한 쿼리 언어나 추가 구성 없이 비정상적인 로그 패턴에 대해 자동으로 경고합니다 data dog
• 5. 기계 학습을 통한 로그 분석: ML/AI를 사용하여 로그를 분석하는 자동화된 접근 방식
• 6. 논문:DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning
• 7. github.python:DeepLog: 딥러닝을 통한 시스템 로그의 이상 탐지 및 진단
• 8. AIOps:loglizer
• 9. github.AIopsTools
• 10. Prophet 라이브러리를 사용한 Airflow DAG의 이상 탐지
• 11. python-prophet-사용하기
• 12. 시계열 예측 패키지 Prophet 소개