現状のファイルの傾向分析#

matsu@dell ~/d/lightroom> find . |wc -l
41176
matsu@dell ~/d/lightroom> du -hs
413G    .

4万1,176枚、413GB。

ストレージ料金比較#

オンラインストレージにてファイルを400GBを保存する場合で試算してみます。

• Google One
  • ¥13,000 / yearかかります
• AWS S3
  • S3にstandardで保存すると$10/monthほどです。**年に$120**, 10年で$1200ドル。
• AWS S3 Glacier Deep Archive
  • 400GBだと$0.5/monthぐらい、**年に$6**、月に$0.5、10年で$60。
  • 保管と復元がAPIやCLI経由。
  • 復元に時間を要する。（だから安い）
• Prime Photo
  • Raw画像の保管が容量制限無料で利用できるので良いです。CLIからもファイルを転送できるのでいい感じなのですが、いかんせん復元の際にディレクトリ構造を維持できなかったりして復元したときが面倒そう。
  • API、CLIでアクセスできなさそうなので、1つ別のストレージアグリゲーションサービスを経由しての利用になるので面倒。

選定先のストレージは**2nd tierのバックアップストレージなので、Availabilityを犠牲にしても安さと利便性が重要です。**なので、GlacierのDeep Archiveが良さそうです。

注意しないといけないのは、GlacierへのPutやGetのオペレーションごとに課金される点です。また、バックアップの際はS3のインターフェイスと同じで簡単に行なえますが、取り出すときにはファイルごとにアーカイブの取り出しをいわなければ行けないので、やや面倒なコマンドを打っていかなければ行けないです。例えば40,000ファイルを復元したければ、40,000回オペレーションが必要になります。$0.05 per 1,000 requestsなので$2かかります。なので、ある程度の塊にして置いたほうが取り出すときに楽そうです。

S3のリージョンは、地理的リスクをヘッジするために海外を選びます。今回は、N. Virginiaにしました。

Lightroomのファイルを管理するディレクトリは年、月、日の階層でファイルを保存してくれているので固めやすいです。

上記を踏まえての構成図#

my photo workflow plan

運用案#

• 1年分の写真を固めて、1ファイルにしてGlacier Deep Archiveに入れる。
• しかし、当年分はアーカイブとして固められないので、当年は、月に1回s3にRaw画像のファイルを同期（sync）する。
• 年が明けたら、去年分の全ファイルを固めてGlacier Deep Archiveに入れる。

毎月実行#

crontab例

0 5 1 * *  bash /path/to/backup_monthly.sh >> /var/tmp/backup.log

#!/bin/bash

set +eu

cd <data directory>

YEAR=`date +%Y`
echo aws s3 sync ${YEAR}/  s3://<bucket name>/lightroom/${YEAR}/

毎年実行#

年が明けて、早めの段階で去年の写真をまるごと固めてGlacierに入れます。そして、去年のs3 syncで毎月とっていたバックアップファイルを消します。

crontab 例

0 6 1 2 *  bash /path/to/backup_yearly.sh >> /var/tmp/backup.log

#!/bin/bash

set +eu

cd <data directory>

LAST_YEAR=`date --date=last\ year +%Y`

# archive last year
tar -I pbzip2 -vcf $LAST_YEAR.tar.bz2 $LAST_YEAR
aws s3 mv  --storage-class DEEP_ARCHIVE $LAST_YEAR.tar.bz2  s3://<bucket name>/lightroom/

# delete last year
aws s3 rm s3://<bucket name>/lightroom/${LAST_YEAR} --recursive