3. S3バケットへのディレクトリ同期

作業の目的 [why]

S3バケット"conf-XXXXXXXXXXXX"に対してディレクトリ"${HOME}/tmp/conf-rds/conf-rds-cli-handson"を同期します。

完了条件/事前条件 [設計者用情報]

完了条件 [after]

主処理は、以下を満たしたときに成功したものとします。

完了条件1
S3バケット"conf-XXXXXXXXXXXX"に転送対象のファイルが存在する。

事前条件 [before]

主処理の実施は、以下の状態であることを前提とします。

事前条件1
転送対象ディレクトリ"${HOME}/tmp/conf-rds/conf-rds-cli-handson"が作業用マシンに存在する。
事前条件2
S3バケット"conf-XXXXXXXXXXXX"が存在する。

前提と異なることが判明した場合、直ちに処理を中止します。

作業対象 [what]

  • S3バケット

標準時間

8分

前提条件

作業権限条件 [who]

本作業は、以下の作業権限を有する人が行います。

作業権限条件: S3への権限

S3バケットにRead/Write権限があること。

作業環境条件 [where]

本作業は、以下の作業環境で行います。

作業環境条件1: OSとバージョン

Amazon Linuxの以下のバージョンで動作確認済

コマンド:

cat /etc/issue | head -1

結果(例):

Amazon Linux AMI release 2016.09

作業環境条件2: シェルとバージョン

bashの以下のバージョンで動作確認済

コマンド:

bash --version -v | head -1

結果(例):

GNU bash, バージョン 4.2.46(1)-release (x86_64-redhat-linux-gnu)

作業環境条件3: AWS CLIのバージョン

以下のバージョンで動作確認済

  • AWS CLI 1.14.24

コマンド:

aws --version

結果(例):

aws-cli/1.14.28 Python/2.7.12 Linux/4.4.11-23.53.amzn1.x86_64 botocore/1.8.32

バージョンが古い場合は最新版に更新しましょう。

コマンド:

sudo -H pip install -U awscli

開始条件

作業に必要なモノ・情報 [resource]

作業開始には、以下が全て揃っていることが必要です。

リソース1: 同期対象ファイル用ディレクトリ

  • 今回は"${HOME}/tmp/conf-rds/conf-rds-cli-handson"をコンテンツファイル用ディレクトリとします。

    ls -d ${HOME}/tmp/conf-rds/conf-rds-cli-handson

結果(例:存在する場合):

${HOME}/tmp/conf-rds/conf-rds-cli-handson

  • 存在しない場合は作成します。

    mkdir -p ${HOME}/tmp/conf-rds/conf-rds-cli-handson

リソース2: 設定ファイル用S3バケット名

  • 同期先となるS3バケットの名称です。
  • 今回は"conf-XXXXXXXXXXXX"とします。

リソース3: 同期先パス名

  • 同期先となるS3バケット上のパス名です。
  • 今回は"conf-rds-dbinstance-handson-cli"とします。

リソース4: 同期しないファイル

  • 同期しないファイルです。
  • 今回は".git*"とします。

作業開始 [when]

以下を全て満たしているとき、作業を開始します。

  • 開始の指示があった場合。

タスクの実施

0. パラメータの指定

まず変数の確認をします。

変数の確認:

cat << ETX

  # 0.a. AWS_DEFAULT_PROFILE:"<S3のフル権限が許可されているプロファイル>"
         AWS_DEFAULT_PROFILE="${AWS_DEFAULT_PROFILE}"
  # 0.b. AWS_DEFAULT_REGION:"ap-northeast-1"
         AWS_DEFAULT_REGION="${AWS_DEFAULT_REGION}"

  # 0.1. DIR_CONTENTS:"${HOME}/tmp/conf-rds/conf-rds-cli-handson"
         DIR_CONTENTS="${DIR_CONTENTS}"
  # 0.2. S3_BUCKET_NAME:"conf-XXXXXXXXXXXX"
         S3_BUCKET_NAME="${S3_BUCKET_NAME}"
  # 0.3. S3_BUCKET_PATH:"conf-rds-dbinstance-handson-cli"
         S3_BUCKET_PATH="${S3_BUCKET_PATH}"
  # 0.4. S3_SYNC_EXCLUDE:".git*"
         S3_SYNC_EXCLUDE="${S3_SYNC_EXCLUDE}"

ETX

下段の変数が入っていない、もしくは上段と同等の値が入っていない場合は、それぞれの手順番号について作業を行います。

0.a. プロファイルの指定

プロファイルの一覧を確認します。

コマンド:

cat ~/.aws/credentials \
 | grep '\[' \
 | sed 's/\[//g' | sed 's/\]//g'

結果(例):

iamFull-prjz-mbpr13
<S3のフル権限が許可されているプロファイル>

変数の設定:

export AWS_DEFAULT_PROFILE='<S3のフル権限が許可されているプロファイル>'

0.b. リージョンの指定

変数の設定

export AWS_DEFAULT_REGION='ap-northeast-1'

0.1. ディレクトリの指定

変数の設定:

DIR_CONTENTS="${HOME}/tmp/conf-rds/conf-rds-cli-handson"

0.2. S3バケット名の指定

変数の設定:

AWS_ID=$( \
  aws sts get-caller-identity \
    --query 'Account' \
    --output text \
) && echo ${AWS_ID}

結果(例)

XXXXXXXXXXXX

変数の設定:

S3_BUCKET_NAME="conf-${AWS_ID}" \
  && echo ${S3_BUCKET_NAME}

結果(例):

conf-XXXXXXXXXXXX

0.3. パス名の指定

変数の設定

S3_BUCKET_PATH='conf-rds-dbinstance-handson-cli'

0.4. 同期しないファイルの指定

変数の設定

S3_SYNC_EXCLUDE='.git*'

再確認

設定されている変数の内容を再確認します。

変数の確認:

cat << ETX

  # 0.a. AWS_DEFAULT_PROFILE:"<S3のフル権限が許可されているプロファイル>"
         AWS_DEFAULT_PROFILE="${AWS_DEFAULT_PROFILE}"
  # 0.b. AWS_DEFAULT_REGION:"ap-northeast-1"
         AWS_DEFAULT_REGION="${AWS_DEFAULT_REGION}"

  # 0.1. DIR_CONTENTS:"${HOME}/tmp/conf-rds/conf-rds-cli-handson"
         DIR_CONTENTS="${DIR_CONTENTS}"
  # 0.2. S3_BUCKET_NAME:"conf-XXXXXXXXXXXX"
         S3_BUCKET_NAME="${S3_BUCKET_NAME}"
  # 0.3. S3_BUCKET_PATH:"conf-rds-dbinstance-handson-cli"
         S3_BUCKET_PATH="${S3_BUCKET_PATH}"
  # 0.4. S3_SYNC_EXCLUDE:".git*"
         S3_SYNC_EXCLUDE="${S3_SYNC_EXCLUDE}"

ETX

1. 前処理

処理対象の状態確認

主処理の実施は、以下の状態であることを前提とします。

前提と異なることが判明した場合、直ちに処理を中止します。

事前条件1: 転送対象ディレクトリ"${HOME}/tmp/conf-rds/conf-rds-cli-handson"が作業用マシンに存在する。

「転送対象ディレクトリ"${HOME}/tmp/conf-rds/conf-rds-cli-handson"が作業用マシンに存在する。」ことを確認します。

コマンド:

ls -d ${DIR_CONTENTS}

結果(例):

${HOME}/tmp/conf-rds/conf-rds-cli-handson

事前条件2: S3バケット"conf-XXXXXXXXXXXX"が存在する。

「S3バケット"conf-XXXXXXXXXXXX"が存在する。」ことを確認します。

コマンド:

aws s3api list-buckets \
  --query "Buckets[?Name == \`${S3_BUCKET_NAME}\`].Name"

結果(例):

[
  "conf-XXXXXXXXXXXX"
]

2. 主処理

ディレクトリの同期

パラメータの確認:

cat << ETX

  # DIR_CONTENTS:"${HOME}/tmp/conf-rds/conf-rds-cli-handson"
    DIR_CONTENTS="${DIR_CONTENTS}"
  # S3_BUCKET_NAME:"conf-XXXXXXXXXXXX"
    S3_BUCKET_NAME="${S3_BUCKET_NAME}"
  # S3_BUCKET_PATH:"conf-rds-dbinstance-handson-cli"
    S3_BUCKET_PATH="${S3_BUCKET_PATH}"
  # S3_SYNC_EXCLUDE:".git*"
    S3_SYNC_EXCLUDE="${S3_SYNC_EXCLUDE}"

ETX

コマンド:

aws s3 sync ${DIR_CONTENTS} "s3://${S3_BUCKET_NAME}/${S3_BUCKET_PATH}" \
  --exclude "${S3_SYNC_EXCLUDE}"

結果(例):

upload: <ファイル名> to s3://conf-XXXXXXXXXXXX/conf-rds-dbinstance-handson-cli/<ファイル名>

(snip)

3. 後処理

完了条件の確認

主処理は、以下を満たしたときに成功したものとします。

完了条件1: S3バケット"conf-XXXXXXXXXXXX"に転送対象のファイルが存在する。

「S3バケット"conf-XXXXXXXXXXXX"に転送対象のファイルが存在する。」ことを確認します。

コマンド:

aws s3 ls s3://${S3_BUCKET_NAME}/${S3_BUCKET_PATH}/

結果(例):

20180121 01:23:45        290 <ファイル名>

完了