AWS Lambda で CloudWatch アラームからの障害対応自動化

QG ボット

2017年01月06日

概要

障害対応 = 昔からよくあるアラート検知したらとりあえずプロセス再起動的なやつ。

CloudWatch アラームの SNS メッセージを Lambda で受け取って、対象インスタンスに対して EC2 Run Command (SSM) で定義されたコマンドを実行する。

EC2 セットアップ

1. IAM Role 作成

EC2 に紐付ける Role に以下の Policy をアタッチして作成する。

AmazonSSMFullAccess

2. EC2 インスタンス作成

上記で作成した IAM Role を付与してインスタンス作成。

OS は以下で構築。

Amazon Linux AMI 2016.09.1 (HVM)

3. SSM エージェントインストール

起動したインスタンスで以下コマンドでインストール。

$ sudo rpm -ivh https://amazon-ssm-us-east-1.s3.amazonaws.com/latest/linux_amd64/amazon-ssm-agent.rpm

エージェントが起動しているか確認。

$ sudo status amazon-ssm-agent
amazon-ssm-agent start/running, process 22819

Lambda セットアップ

とりあえず subscription は空で OK。

2. Lambda function 作成

trigger で先ほど作成した SNS topic を選択。
(Enable trigger にチェックを入れる)

Runtime は Python2.7 を選択。

Lambda コードは以下の通り。

from __future__ import print_function

import boto3
import json
import logging
 
logger = logging.getLogger()
logger.setLevel(logging.INFO)

ssm = boto3.client('ssm')

def lambda_handler(event, context):
    logger.info("Event: " + str(event))
    message = json.loads(event['Records'][0]['Sns']['Message'])
    logger.info("Event: " + event['Records'][0]['Sns']['Message'])

    instanceid = message['Trigger']['Dimensions'][0]['value']
    alarm_name = message['AlarmName']
    new_state = message['NewStateValue']
    reason = message['NewStateReason']
    logger.info("%s - %s state is now %s: %s" % (instanceid, alarm_name, new_state, reason))

    try:
        ssm.send_command(
            InstanceIds = [
                instanceid
            ],
            DocumentName = "AWS-RunShellScript",
            Parameters = {
                "commands": [
                    "service httpd restart"
                ],
                "executionTimeout": ["3600"]
            },
        )
        logger.info("restarting httpd.")
    except Exception as e:
        logger.error(e)

※EC2 Run Command が実行されるインスタンスは、Cloudwatch アラームから instanceid を取得して指定する。
※インスタンスで実行されるコマンドを commands にカンマ区切りで記載する。
※実行するコマンドは、とりあえず apache 再起動。

Create a custom role で作成した Role に、以下の Policy をアタッチする。

CloudWatchLogsFullAccess
AmazonSSMFullAccess

Cloudwatch アラーム作成

1. ALARM 作成

トリガーとなるメトリクスに閾値、Action を設定する。

Actions に以下を設定する。

Whenever this alarm:	State is ALARM
Send notification to:   "先ほど作成した SNS topic を指定"

実行テスト

Cloudwatch ALARM 送信

テストなので閾値低めとか、プロセス停止とか。

実行結果確認

Lambda の実行結果は CloudWatch Logs から確認できる。

EC2 Run Command からも Output が確認できる。

概要