Observability/Prometheus
-
Stackdriver-exporter 설치 방법 참고 [Prometheus](GCP)Install Stackdriver-exporter for monitoring GCP with helm chart Concept stackdriver-exporter를 사용하면 GCP에서 사용중인 리소스를 모니터링할 수 있다. 다만, GCP 콘솔에서와 달리 공식문서에서 제공해주는 metrics 값들이 모두 모니터링 가능한 것은 아니라 필요한 데이터 수집에 대한 테스트가 필요하다. 아래는 stackdriver-exporter helm chart의 metrics에서 사용하는 option에 대한 설명이다 수집 가능한 metrics 확인하는 방법 1. GCP doc - Metrics list 공식문서 참고 https://clou..
[Prometheus](GCP)Stackdriver-exporter에 원하는 metrics 추가하기Stackdriver-exporter 설치 방법 참고 [Prometheus](GCP)Install Stackdriver-exporter for monitoring GCP with helm chart Concept stackdriver-exporter를 사용하면 GCP에서 사용중인 리소스를 모니터링할 수 있다. 다만, GCP 콘솔에서와 달리 공식문서에서 제공해주는 metrics 값들이 모두 모니터링 가능한 것은 아니라 필요한 데이터 수집에 대한 테스트가 필요하다. 아래는 stackdriver-exporter helm chart의 metrics에서 사용하는 option에 대한 설명이다 수집 가능한 metrics 확인하는 방법 1. GCP doc - Metrics list 공식문서 참고 https://clou..
2022.07.13 -
template location kube-prometheus-stack/templates/grafana/dashboards-1.14/ 나의 경우 alertmanager-overview.yaml 파일을 복사해서 사용했다. cp kube-prometheus-stack/templates/grafana/dashboards-1.14/alertmanager-overview.yaml kube-prometheus-stack/templates/grafana/dashboards-1.14/cloudwatch-exporter.yaml Export grafana dashboard Variables에 datasource 추가 Save JSON to file Create new template 아래는 복사해온 template에서 ..
[Prometheus]Add custom grafana template to Prometheus-stacktemplate location kube-prometheus-stack/templates/grafana/dashboards-1.14/ 나의 경우 alertmanager-overview.yaml 파일을 복사해서 사용했다. cp kube-prometheus-stack/templates/grafana/dashboards-1.14/alertmanager-overview.yaml kube-prometheus-stack/templates/grafana/dashboards-1.14/cloudwatch-exporter.yaml Export grafana dashboard Variables에 datasource 추가 Save JSON to file Create new template 아래는 복사해온 template에서 ..
2022.07.11 -
❗Custom Rules 작성이 선행되어야 하고 이후 annotaion을 slack message에서 가져다 쓴다. 2022.07.11 - [Monitoring/Prometheus] - [Prometheus](AWS)Add Custom rules to Prometheus stack with cloudwatch-exporter Slack 수신 웹 설정 메시지를 포스트할 워크스페이스에 새 Slack 앱을 생성(link)한다. 기능 페이지에서 수신 웹후크 활성화 토글을 켭니다. Slack에서 Alert을 수신할 채널을 추가한다. 워크스페이스에 새 웹후크 추가를 클릭합니다(. (Add New Webhook to Workspace) API TEST curl -X POST -H 'Content-type: appli..
[Prometheus]Prometheus Slack Alert 연동하기❗Custom Rules 작성이 선행되어야 하고 이후 annotaion을 slack message에서 가져다 쓴다. 2022.07.11 - [Monitoring/Prometheus] - [Prometheus](AWS)Add Custom rules to Prometheus stack with cloudwatch-exporter Slack 수신 웹 설정 메시지를 포스트할 워크스페이스에 새 Slack 앱을 생성(link)한다. 기능 페이지에서 수신 웹후크 활성화 토글을 켭니다. Slack에서 Alert을 수신할 채널을 추가한다. 워크스페이스에 새 웹후크 추가를 클릭합니다(. (Add New Webhook to Workspace) API TEST curl -X POST -H 'Content-type: appli..
2022.07.11 -
Rules에 등록할 Prometheus 쿼리 작성 Cloudwatch-exporter에 추가한 metrics 값을 참고하여 쿼리를 작성한다. 2022.07.11 - [Monitoring/Prometheus] - [Prometheus](AWS)Cloudwatch-exporter에 원하는 metrics 추가하기 EC2 CPU Utilization Over 5 % - 알람 확인을 위해 설정 round(aws_ec2_cpuutilization_average offset 10m, 0.01) > 5 EKS Node CPU Over 80 % round(containerinsights_node_cpu_utilization_average offset 10m,0.01) > 80 ELB Down aws_elb_un_heal..
[Prometheus](AWS)Add Custom rules to Prometheus stack with cloudwatch-exporterRules에 등록할 Prometheus 쿼리 작성 Cloudwatch-exporter에 추가한 metrics 값을 참고하여 쿼리를 작성한다. 2022.07.11 - [Monitoring/Prometheus] - [Prometheus](AWS)Cloudwatch-exporter에 원하는 metrics 추가하기 EC2 CPU Utilization Over 5 % - 알람 확인을 위해 설정 round(aws_ec2_cpuutilization_average offset 10m, 0.01) > 5 EKS Node CPU Over 80 % round(containerinsights_node_cpu_utilization_average offset 10m,0.01) > 80 ELB Down aws_elb_un_heal..
2022.07.11 -
Concept 모니터링 권한을 가진 IAM user를 이용하면 여러 프로젝트를 한 곳에서, Exporter를 띄워 관리할 수 있다. Create Service Account and Edit permissions Create Policy and Connect with iam user Create Policy name: cloudwatch-exporter cloudwatch-exporter.json { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "cloudwatch:GetMetricData", "cloudwatch:ListMetrics", "cloudwatch:GetMetricStatistics", "tag:GetReso..
[Prometheus](AWS)Cloudwatch-exporter multiple projects monitoring with IAM UserConcept 모니터링 권한을 가진 IAM user를 이용하면 여러 프로젝트를 한 곳에서, Exporter를 띄워 관리할 수 있다. Create Service Account and Edit permissions Create Policy and Connect with iam user Create Policy name: cloudwatch-exporter cloudwatch-exporter.json { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "cloudwatch:GetMetricData", "cloudwatch:ListMetrics", "cloudwatch:GetMetricStatistics", "tag:GetReso..
2022.07.11 -
cloudwatch-exporter 설치 방법 참고 2022.07.11 - [Monitoring/Prometheus] - [Prometheus](AWS)Install Cloudwatch-exporter with helm chart cloudwatch exporter github https://github.com/prometheus/cloudwatch_exporter Concept cloudwatch-exporter를 사용하면 AWS에서 사용중인 리소스를 모니터링할 수 있다. 다만, Cloudwatch 콘솔과 달리 제공해주는 metrics 값들이 모두 모니터링 가능한 것은 아니라 필요한 데이터 수집에 대한 테스트가 필요하다. 수집 가능한 metrics 확인 하는 방법 AWS CLI로 metrics에 해당하..
[Prometheus](AWS)Cloudwatch-exporter에 원하는 metrics 추가하기cloudwatch-exporter 설치 방법 참고 2022.07.11 - [Monitoring/Prometheus] - [Prometheus](AWS)Install Cloudwatch-exporter with helm chart cloudwatch exporter github https://github.com/prometheus/cloudwatch_exporter Concept cloudwatch-exporter를 사용하면 AWS에서 사용중인 리소스를 모니터링할 수 있다. 다만, Cloudwatch 콘솔과 달리 제공해주는 metrics 값들이 모두 모니터링 가능한 것은 아니라 필요한 데이터 수집에 대한 테스트가 필요하다. 수집 가능한 metrics 확인 하는 방법 AWS CLI로 metrics에 해당하..
2022.07.11