読者です 読者をやめる 読者になる 読者になる

Codenize.toolsのRoadworkerのソースコードを読む(roadwork -e) #fukuokarb

AWS Ruby

AWSCLIツール系では最高レベルに便利なCodenize.toolsからいろいろ学ぼうと思って、Fukuoka.rbでもくもくと読んでいました。

fukuokarb.connpass.com

同時にawspec業もしていたので、面白そうなapplyコマンドまで読み進められなかったのが残念。

以下、メモ。

bin/roadwork

なんとなく bin/roadwork からスタート。optparseを使っているのか。

if options[:debug]
  Aws.config.update(
    :http_wire_trace => true,
    :logger => options[:logger]
  )
end

おお...(デバッグオプションとかつけてないな、awspec

client = Roadworker::Client.new(options)

roadwork -e

awspec generateと同じ流れだろうと踏んで、exportコマンドから追ってみる。

コードを追ってみると実体は Roadworker::Exporter#export_hosted_zones(hosted_zones) っぽい。

Roadworker::Collection.batch

Roadworker::Collection.batch で(大抵のaws-sdk-rubyの*::Clientクラスのレスポンスで返ってくる)ページング可能なオブジェクトをいい感じに回している。カッコいい。

module Roadworker
  class Collection

    class << self
      def batch(pageable_response, collection_name)
        pageable_response.each do |response|
          response.public_send(collection_name).each do |item|
            yield(item)
          end
        end
      end
    end # of class method

  end # Collection
end # Roadworker

DSL変換

aws-sdk-rubyからのレスポンスをいい感じにハッシュにまとめてRoadworker::Client#exportに戻して、今度はRoadworker::DSL::Converter#convert でRoadworkerのDSLに変換している。

Roadworker::DSL::Converter#output_rrsetの中

name = recrod.delete(:name).inspect

Hash#deleteの動きで、keyを消しつつvalueを取り出していて、String#inspectで、エスケープしている。こういうふうに使うのかー。


というわけで時間切れ。

"Amazon Web Service企業導入ガイドブック" はまさにそのサブタイトルの通りだったし、AWS導入に関わるエンジニアも読んでおくべき内容だった

AWS

タイトルでほとんど言いたいこと言ってしまった。。。。

なおサブタイトルは

企業担当者が知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用まで

です。

Amazon Web Services企業導入ガイドブック -企業担当者が知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用まで-

Amazon Web Services企業導入ガイドブック -企業担当者が知っておくべきAWSサービスの全貌から、セキュリティ概要、システム設計、導入プロセス、運用まで-

@ryuzeeさんがプレゼントキャンペーンをされていたので、興味があったので応募したのですが、見事に当たりました。

connpass.com

本当にありがとうございました!

じっくり読んでいたら時間がたってしまったのですが、本当に読んで良かったです。

というよりも、この本は、特に弊社みたいな会社は、エンジニア問わず広く共有すべき本だと感じました。

いくつか感じたことを書いておきたいと思います。

AWSの全貌をつかめるという意味で網羅的である

まず、AWSの全貌をつかめるという意味で網羅的です。

AWSは今では70を超えるサービスがあるそうです。

AWSを導入するにあたって、より良い形で導入するためには、それなりに各サービスを知っていなければなりません(知っていなければ検討すらできない)。

自分もawspecというAWSのサービス全体に関係できるツールを作っていますが、全てのサービスを良く知っているわけではありません(なので理解できたところから実装している状況)。

そういった意味でも、たった数ページで検討や調査をする最初の一歩にできるのは非常に心強いです。

企業として導入において検討すべきポイントが網羅的である

さらに、導入において、検討すべきポイントが列挙されているという意味で網羅的です。

"企業導入ガイドブック" と銘打っているだけに、「おみそれしました。勉強になります。」としか言えない内容です。

自分みたいなエンジニアは、ついついAWSのテクノロジーの新しさに目がいきがちですが、企業にとって必要なポイントは、AWS導入によって得られた価値です(ざっくり)。

AWS導入に関わるエンジニアはまずこの本で「提案内容、導入検討内容に、ヌケモレがないか」を確認をしたら良いと思いました。リーンシートとか3Cとかフレームワークみたいなイメージ。

"AWSノックアウト条件"など、ヒアリングが漏れていて時間をかけて検討が進んだあとに「実は導入できませんでした」となったら目も当てられません。

導入前の分析から導入後の改善まで、フローについて網羅的である

導入だけでなく、導入前の検討から。導入まででなく、導入後の運用、さらには監視・改善まで。企業としてAWSに関わる全てのフローについて網羅的に記載されています。

なので、導入時に読む本でもありますが、運用時に読む本でもあると言えます。

AWSに関わっている間、いつ手にとって良いという意味でも非常に強力な書籍と言えます。

というわけで

網羅的でした!もう社長も含めて社員全員読めばいい!!

次はうちのマーケティングチームのリーダーに情報を共有して読んでもらおうと思っています(会社の書籍制度フル活用)。

AWSに関わるならば一度は読んでおきたい本、置いておきたい本です。

AWSに関わるエンジニアとしては、この本から飛び出した価値を提供できるようがんばらないと。。。

Backlogに添付されたファイルをscpみたいにダウンロードするbacklogcpコマンドを作った

Backlog Ruby

皆さんBacklog使っていますか?私はいつも便利に使っています。

Backlogの添付ファイルをクリックしてダウンロードしなければならない問題

ところで、こんなことありませんか?

  • 素材ファイルを添付してもらったが、それを利用するためにクリックしてダウンロードしてリネームして設置
  • バナーファイルを添付してもらったが、それを利用するためにクリックしてダウンロードして、さらに仮想環境に転送して設置
  • バナーファイルを添付してもらったが、それを利用するためにクリックしてダウンロードして、さらに本番環境に転送して設置

ダウンロードして見るだけのようなファイルなら良いのですが、エンジニアとしてBacklogを使っているとどうしても添付ファイルと開発が紐付いてきます。

で、上記のような作業が続いて続いて続いたので、嫌になってBacklogから直接ファイル設置できるようなコマンドを作りました。

backlogcp

github.com

事前設定

Backlogの[個人設定] > [API] でAPIキーを生成します。

f:id:k1LoW:20160707195051p:plain

インストール

$ gem install backlogcp

使い方

Backlogからファイルをダウンロードできそうに見えるURLをコピーします。例えば、

です。

そして、設置したいサーバで backlogcp のあとにコピーしたURLをそのまま貼り付けて保存先を指定します。

$ export BACKLOG_API_KEY=XXXXXxxxXXXXxxXXXXXxXXXXXXX
$ backlogcp https://101000lab.backlog.jp/file/TEST/path/to/%E7%94%BB%E5%83%8F.jpg ./path/to/image.png

scp ライクにファイル設置ができます。

これで、「クリックしてダウンロード」がなくなりました。便利!

というわけで、Backlogで「クリックしてダウンロード」が嫌になった人は是非使ってみて下さい。


(Backlogで、ダウンロード用の期限付きURLとか発行できるようにならないかなー)

フォームの入力を覚えてくれるChrome Extension "typd" をバージョンアップするなどした

そろそろFirefoxにWebExtension APIが安定搭載されるみたいなので

chrome.google.com

主な変更点

  • 動的なフォーム(input要素などを追加・削除したりするようなフォーム)に、ある程度対応しました。
    • 補完キーバインドを押したタイミングにもフォームを走査するようにしました。
  • ストレージ(chrome.storage.localのMAXが 5,242,880 byte)がいっぱいになった時のために、保存しているデータをフォーム単位で削除できるようにしました。
    • 拡張機能のオプションページで削除可能になっています。
    • 1.0.0以前に保存したものは一度同じフォームで入力データを保存しないと削除できません。
  • 'type=submit' な値は保存しないようにしました。
    • これによって一部保存データが利用できなくなります。
  • バージョンを1.0に上げた。

その他

最近JavaScriptづいているので、ちょっと開発環境を見なおしてみました。

  • package.jsonによる scripts 属性で npm run * なコマンドを定義。わかりやすく。
  • Webpack + BabelでちょっとモダンJavaScript環境を構築してみた。

たったこれだけですが、それだけでもかなり良いですね。

近い将来、GitHub - OctoLinker/browser-extension: OctoLinker – Available on Chrome and Firefox.ソースコードなどを参考にFirefoxにも対応したいと考えているのですが、

そうなると当初から構想にあった「入力データの共有」が欲しくなってきそう。

今のところ、どういう形で「入力データの共有」を実現するかは決まっていませんが、便利な形で実現したいです。

Auto ScalingではなくてAuto Cachingという考え方

mod_mruby mruby

今年の3月くらいからずっと悶々としていて、なかなか手が出せなかったアイデアがやっと実現できました。

(試行錯誤して書いてみたら、結果たった数行という。。。)

Auto ScalingではなくてAuto Cachingという考え方

AWSではAuto Scalingという、サーバの負荷の変化などによってEC2インスタンスをスケールする便利な機能があります。

が、大抵はクラウド環境でないと容易には実現できません。

例えば、クラウドではなく

  • サーバリソースは増やせない。
  • 普段はキャッシュはしてほしくないコンテンツ。
  • ただ、アクセスが多くなるとかで何かしら負荷が高くなった時には「仕方なく」キャッシュを使っても良い。落ちるよりはマシ。
  • 負荷が戻ったらキャッシュを使わないようにして欲しい。

という状況もあるかもしれません(そしてあります)。

「状況によってWebサーバがいい感じにキャッシュコントロールしてくれないかな」と考えていました。

Auto ScalingならぬAuto Cachingみたいな。

その時のメモがこちら

  • ngx_mruby( + http-dos-detector + mruby-changefinder)とかを駆使して、高負荷を検知したらキャッシュを利用するように変更するとか?
  • mod_mrubyとmod_cacheでもいけるのか?
  • というか、もともとそういう設定できないの?できるんでしょ?

(改めて検索してみたら、はるか以前に同じようなことを実現されていた方が。しかもkazuhoさんという。。)

Fukuoka.rb活動

いろいろ考えてはいたものの、別のOSS活動をしていました。

で、やっと先日のFukuoka.rbで重い腰を上げて試してみました。

なんとかmod_mrubyのインストールまでできたので、そのあとはずっとmod_cacheとmod_mrubyのドキュメントやエントリーを読んで、試行錯誤していました。

Auto Caching

こちらが成果です。

# -*- coding: utf-8 -*-
# LoadModule cache_module modules/mod_cache.so
# LoadModule cache_disk_module modules/mod_cache_disk.so
# LoadModule mruby_module modules/mod_mruby.so
#
# CacheRoot /var/www/cache
# CacheEnable disk /cache-control
# CacheIgnoreCacheControl Off
# CacheIgnoreNoLastMod On
# CacheIgnoreHeaders Set-Cookie
# CacheDefaultExpire 300
# CacheMaxExpire 600
#
# <Location /cache-control>
#   mrubyQuickHandlerFirst /path/to/autocache.rb
# </Location>

r = Apache::Request.new()

r.headers_in['Cache-Control'] = 'no-cache'

wc = Apache::Scoreboard.new()

if wc.loadavg.first > 1
  # cache
  r.headers_in['Cache-Control'] = 'public'
end

Apache.return(Apache::DECLINED)

mod_cache、mod_disk_cacheを併用して使います。

サーバのLoad Averageが1以上になったときにだけ、mod_cacheを利用してコンテンツをキャッシュします。そして、Load Averageが1以下に落ち着いたらキャッシュが解除されます。

若干強引ですが Cache-Control ヘッダをいじってmod_cacheを反応させることで実現しています。

今更ながら mod_mruby / ngx_mruby すごい

たった数行でこんなことができるとは。。。

if wc.loadavg.first > 1 の部分を頑張れば、より柔軟にキャッシュコントロールできそうです。

ギョームではLAMP環境を構築することが多いです。

mod_mrubyというプログラマにやさしいモジュールは、今後インフラを考えるときに選択肢を増やす強力な武器になりそうです。

やさしいツール

AWSもInfrastructure as codeもmod_mruby / ngx_mrubyもプログラマにやさしいです。

やさしさ重要だなーと思う日々です。

今後

Auto Cachingの実戦投入をしてみたい。

JAWS-UG福岡でawspecの中の話をしてきました #jawsug

AWS Ruby

JAWS-UG福岡:3度目の濃い目にAWSの話をしてみよう - JAWS-UG九州 | Doorkeeper にてawspecの中の話をしてきました。

speakerdeck.com

スライドからもわかるように、AWS成分よりもRuby成分多めになりました。話しているほうはとても楽しかったです。

イムリーに勉強会中にPull Requestがあったので、事前にレビューを済ませた上で、発表中にライブマージ&リリースをするなどしました。

Release v0.41.0 · k1LoW/awspec · GitHub

なんか仕込んでいた感がありましたが、そんなことはありませんよ。

awspecの開発は今どうしているのか?

awspecは基本的に自分が必要になったタイミングで(もしくは周りのメンバーが必要になったタイミングで)機能追加をしています。

リソースタイプについては個人的には困らないレベルにまでなってきたので、最近はもう少し上位のテストをしたいなあという希望があって、悶々としている感じです。

ほんと、待っています。。

JAWS-UG福岡の濃さ

今のJAWS-UG福岡は、完全に技術側に振り切っていて、外から見ていて楽しそうだと思ったし、実際に参加してみたらやっぱり楽しかったです。学ぶことも多かったです。

「最初から乾杯をする」というのも良いですね。昼ビールはヤバいです。呑みながらの発表もヤバいです。

あえて改善点を上げるとしたら、もっと発表内容について語れる時間があるとさらに良いかもと思いました(今回だけ違ったっぽい?)。もっとグダグダでも個人的には良いです。得るものは多かったので良かったです。

運営の皆様、ほろ酔い気分な時間をありがとうございました。

というわけで

awspecへのPull Request待っています!

github.com

CakePHPで開発しているけれどもMigrationsは捨ててRidgepoleを使っているはなし

CakePHP Ruby

タイトルは若干釣りです。

CakePHPにはマイグレーションツールとして、CakeDC/Migrations(CakePHP2)や、Phinxベースのcakephp/migrations(CakePHP3)があります。

とても有用ですし、CakePHP Bakerはみんな知っているツールです。自分もずっとお世話になっていました。

ただ、ちょいちょい困ることもあったので、最近はRidgepoleを使い始めています。

Ridgepole

github.com

Ridgepoleはクックパッド社で利用されているというマイグレーションツールです。

techlife.cookpad.com

Ridgepoleは最大の利点が、1つのSchemafileを管理するだけでスキーマのべき等性を担保してくれるということです。

RidgepoleはDSL自体がRailsActiveRecordと同じだということで、Railsだとさらに恩恵をうけられそうですが、この"べき等性"はCakePHPなプロジェクトでもかなりアツいです。

「1ファイルを管理すれば良い」という良さ

特に新規開発スタート時は、スキーマの変更頻度も高いです。

数人で開発するだけでもスキーマ変更のマイグレーションがコンフリクトし、作業をブロック。マイグレーションの順番を検討。チャットで「今からスキーマ触ります」と通知とかし始めて、最後は「もう一度マイグレーションファイルを消して1からやりなおそうか」ということに。。。

それが1つSchemafileをGit(などのバージョン管理システム)で管理するだけで良いというのは、かなりのメリットがあります。

データベース設計書的なファイルとMigrationsのファイル群の2種類を管理する必要がなくなったのも健全です(Schemafileのコメントでフィールドの論理名も管理可能ですし)。

今は深遠なる理由でデータベースコメントも管理したいので、あえて 0.6.3 を利用していますが、現在Rails5への対応を進めているらしい(さらに、Rails5のActiveRecordではデータベースコメントやカラムコメントも管理できるらしいのでもしかしたら。。)ので、楽しみです。

PHPな人も是非試してはいかがでしょうか?