2014/05/13

Managed Virtual Machine に望むこと


先日2014年4月22日に行われた、Google Cloud Platformセッションの模様がYoutubeに公開されてた。



地方民はこういうイベントになかなか参加できないので、動画配信はほんとに助かる。ありがたや。。。
動画の中で語られている Managed VM は地味だけど、なにげにすごい機能だと思う。GAEでできなかったほとんどの事がこれで解決できるかもしれない。

ただ、個人的に Managed VMでは、(スケールアウトしなくていいので)固定IPも使えるようになってほしい。なぜなら、Google App Engineで外部のシステムと連携するとき、相手側でIPアドレス制限されている事がある。だから、連携前にあらかじめこちらのIPアドレスを教えておくのだけど、GAEはPaaSなのでその範囲も広いし、いつ変わるかわからない。まぁ、IPアドレス制限という方法自体がすでに時代遅れな感じではあるけど。

ともかく、GAEではそういうシステムと連携する時は、間にGAEでないサーバーを中継させておく必要がある。なので、このためだけにOSやApacheのメンテが発生する。これは、ほんとにアホらしいことだ。もし、Managed VMで固定IPが使えれば、対外部システムとの処理だけそのインスタンスで行えばいいし、中継サーバーも不要になるので、だいぶ楽になるのだ。

Googleさん、よろしくおねがいします。

2014/05/01

Google Cloud Storage上の非公開動画を特定の人にだけ公開する


Google App Engine単体では(Blobstoreを使う以外)ファイルの読み書きはできないが、GCPのクラウドストレージ製品Google Cloud Storageを使えば、簡単にファイルを取り扱うことができる。今回は、ある特定の人にだけ動画を見せたい場合を想定して、Google Cloud Storageに置いた非公開な動画ファイルを、OpenIDでログインしている人にだけ見せる方法をメモしておく。

動画ファイルの配置

GCPのコンソールからGoogle Cloud Storageにファイルをアップロードする。(アップロード方法はまたの機会に。)ちなみに、動画ファイルはNHKクリエイティブ・ライブラリーから拝借した。

今回保存したファイルパス(非公開)
/gcp-memo.appspot.com/movies/meteorite.mp4

動画再生ページの作成

videoタグを配置するページ(/member/movie)を作成。こちらもログイン必須のページにしておく。app.yamlでログイン必須指定する。
- url: /member/(.*)
script: controllers.front.member.application
secure: optional
login: required
今回も認証まわりの制御はGoogle App EngineのUsersライブラリを使う。過去記事参照。また、videoタグのsrcには、動画ダウンロードを行うスクリプト(/member/play_movie)を指定する。
<video autoplay="" controls="" src="/member/play_movie">
</video>

動画ダウンロードスクリプトの作成

/member/play_movie を実装する。上のapp.yamlで、/member配下は認証必須指定しているので、必ず認証された状態でアクセスされる。あとはダウンロード処理を実装すればいいだけ。
from google.appengine.ext import blobstore
from google.appengine.ext.webapp import blobstore_handlers

class PlayMovie(blobstore_handlers.BlobstoreDownloadHandler):
 
    def get(self):
     
        blob_key = blobstore.create_gs_key('/gs/gcp-memo.appspot.com/movies/meteorite.mp4')
        self.send_blob(blob_key)
url_map = [
    ('/member/play_movie', PlayMovie),
]
application = webapp.WSGIApplication(url_map, debug=True)

処理と言ってもこれだけ。blobstore.create_gs_keyでkeyを取得し、send_blobするだけ。あとはBlobstoreDownloadHandlerがうまいことやってくれる。

大きなサイズの動画でもDeadlineExceededErrorが出ることもないし、動画のシークも問題ない。ログを見ると14msで終わってるので、インスタンスを専有するわけでもなさそうだ。内部でどういうシーケンスになってるのか不明だが、これで目的の動作は果たせる。

【2015/12/10 追記】
内部のシーケンスについて、Google技術サポートに問い合わせる事があったので聞いてみると、Blobstore 経由で Cloud Storage のオブジェクトをクライアントに転送する場合、クライアントとインスタンスの経路の途中にある中継サーバに対して、Cloud Storage から直接データをクライアントに転送するように指示するそうです。なので、インスタンスを専有することもなく、大きめのファイルを転送できると。すばらしい!

ドコモIDでOpenID認証してみる

Google App Engineでは、簡単にOpenID認証できる仕組みがある。

今回は、ドコモID(OpenID)を使ってユーザー認証させてみた。

Moduleをdispach.yamlで振り分ける方法

Google App Engineには、アプリケーション内の機能をグループ化できる Modules というしくみがある。Moduleごとに、インスタンスのスペックやスケールのルールが設定できるため、フロントエンドとバックオフィス、バックグラウンドジョブといった用途別にModuleを作成すると良さそうだ。また、どのModuleが使われるかは、URL(パス)で振り分けることができる。今回はその方法のメモ。

Moduleのyamlファイルの作成

今回は、以下の3つのModuleを作ってみる。

・フロントエンド用(app.yaml) default
・バックオフィス用(back.yaml)
・JOB用(job.yaml)

まずは各Moduleのyamlファイルを作成する。
app.yaml
application: gcp-memo
module: default
version: 1
runtime: python27
api_version: 1
threadsafe: true
instance_class: F1
(以下省略)
admin.yaml
application: gcp-memo
module: admin
version: 1
runtime: python27
api_version: 1
threadsafe: true
instance_class: F1
(以下省略)
job.yaml
application: gcp-memo
module: job
version: 1
runtime: python27
api_version: 1
threadsafe: true
instance_class: B1
basic_scaling:
max_instances: 2
idle_timeout: 10m
(以下省略)

dispatch.yamlファイルの作成

続いて、これらのModuleを振り分けるdispatch.yamlを作成する。今回は、パスが/admin/に一致すればadminモジュールへ、/job/に一致すればjobモジュールが使用されるようにする。dispatch.yamlは、アプリケーションのルートディレクトリに配置する必要がある。Moduleのyamlファイルについては、ルートでも任意のディレクトリ配下でもOK。

dispatch.yaml
application: gcp-memo
dispatch:
- url: "*/job/*"
module: job
- url: "*/admin/*"
module: admin

ローカルサーバーでの起動

以下で実行できる。パラメータにdispatch.yamlとモジュールのyamlファイルを渡す。実行ディレクトリは、アプリケーションのルート。モジュールのyamlがサブディレクトリ配下にある場合は、ルートからの相対パスで指定する。

ローカルサーバーでの起動コマンド
dev_appserver.py dispatch.yaml app.yaml admin.yaml job.yaml
コンソールには以下が表示され、http://localhost:8080 にアクセスすれば、適宜ディスパッチされる。

コンソールの表示
Starting dispatcher running at: http://localhost:8080
Starting module "default" running at: http://localhost:8081
Starting module "admin" running at: http://localhost:8082
Starting module "job" running at: http://localhost:8083

デプロイとdispatch.yamlの更新

本番環境にデプロイするときは、各モジュールのデプロイとdispatch.yamlの更新とでコマンドが別。モジュールのデプロイは、複数のyamlファイルを指定できる。

デプロイ
appcfg.py update app.yaml job.yaml admin.yaml
dispatch.yamlの更新
appcfg.py update_dispatch ./
※update_dispatchは忘れがち。

app.yamlは必須か?

おまけ。フロントモジュールはapp.yamlという名前にしたが、app.yamlでなくてもOKみたい。ただ、Google App Engine Launcherでapp.yamlが無いと怒られたり、PyCharmでGAEプロジェクトと認識されなかったりするので、デフォルトのモジュールはapp.yamlにしたほうが無難だろう。