AWS Summit 2013 Tokyo 2日目 - shinodoggのテキトーなブログ

2日目は早めに会場行ってDJ KeiKobayashi楽しませていただきました。

https://twitter.com/shinodogg/status/342450048577200128

　　 ■ Day2 オープニングキーノート（基調講演） 　 AWS日本法人の社長の長崎さん。　・東京の登録者数9000人超えている。規模は2倍。　・AWSサミットはワールドツアー　NY, SIngapore, TOkyo, London, SaoPaulo, Sydney, Auckland, Berlin,,, 　・東京リージョンから2年。AWSはもう8年やってる。2006年3月14日から。　・AWSトレーニング開始。オフィシャルなトレーニングを日本語で。 AWS認定プログラム。こちらも日本語で。　　・イノベーションのペースは加速中。2013年は過去最高のペース。　Amazonではイノベーション＝お客様が求めているもの　　・9リージョン、25アベイラビリティーゾーン、39エッジロケーション　S3のオブジェクト数は2兆を超える。1年未満で1兆オブジェクト。110万/秒。　・拡大スピード　　2003年 Amazon.com 7800人年商5200億円　2013年 AWSは年商5200億円くらいだった頃のAmazonのITリソースを毎日追加しているくらいの勢い… 　・日本でも2万以上のお客様。事例が増えれば増えるだけお客様にもナイス。　考えられるあらゆるワークロード。　・セキュリティはトッププライオリティとして。第三者認証もイロイロ取得。　・徹底的にコスト構造を見直す⇒2006年以降31回値下げ　・サポート　こうしたらもっと安くなりますよというご提案も。　お客様第一⇒AmazonのDNA。

・Private Cloud？ソレで↓のやりくり出来？？　先行投資不要 - 東急ハンズのPOSシステムをAWSにとか。低い運用コスト - 固定費 or 使った分だけ。花王のグローバルサイトで85%削減。柔軟な容量 - 自由にトラフィックに応じて。テレビに取り上げられてスパイクとか。スピードとアジリティ - 今までインフラやってたエンジニアが新しいことはじめてるコアコンピタンスへ集中 - リソースを本来やりたいところへ世界展開 - 既にグローバルなプラットフォーム　・オンプレミスとAWSのクラウドは併用可能。 Active Directory - IAM ネットワーク設定 - VPC 暗号化 - S3, RDS, HSM バックアップアプライアンス AWS Direct Connect 　・最近、こんな感じ的な。 EC2 - 東京でもHighパフォーマンスなインスタンスをサポート。 Storage Gateway - 既存DCからS3にバックアップ Glacier - 氷河。アーカイブ。月額1GBあたり1円。データの使い方も変わってくる。 Redshift - 東京リージョンで使用可能に。DWH高い。管理が大変。そういった声から。年間1TBあたり10万円。 HSM - ハードウェアセキュリティモジュール　・ココからは事例のオンパレード　・東京海上日動火災保険の事例紹介。稲葉氏今AWSを味見中。これから。　・三井物産の事例紹介。前川氏検討＆移行期。　九州大学 - 繁忙期だけAWSを使う ANDERSEN - 4時間の処理を20分で。コストも1/10に。 F@Nコミュニケーションズ - バックアップを効率化レーベルゲート - moraのコンテンツ配信をAWSで。製品マスタデータとか課金とかはオンプレで。にしてつストア - 福岡の小売チェーン。基幹システムをAWSに。ミッション・クリティカル。 KYOWA KIRIN - SAPのAWS移行を皮切りにイロイロ移行。 TIETECH - SAP BusinessSuiteをはじめて本番環境で。全部自前で。コストも人もない。　・SAPの事例紹介。安斎氏エンタープライズなモバイルの売上はSAPがNo.1 SAPクラウドは3000万の人が使ってる　スシロー - 全てをクラウドで動かす東急ハンズ - ECサイト、POS、聖域を設けず全部やる。これからは業務システムも。ミサワ - eセールスマネージャ、COMPANY、Biz/会計, intra-mart, Sybase IQ, データスタジオ, 文書管理　重力には逆らえない。　・日立製作所の事例紹介。日立は何でも自分たちで作りたがる会社⇒これから変えていく　　 ■ 中とろより価値あるITを。あきんどスシローのクラウド活用術 　ランチセッションということで、昨日のアンデルセンのサンドイッチに引き続き、今日はスシローのお寿司！美味しかったです～ヽ(´▽｀)ノ＃朝3時くらいから仕込みをされてたそうです。ごちそうさまでした！

https://twitter.com/shinodogg/status/342484169164722176

　　スシローにの情報システム部には5人しかいない。　お願い！ランキングで取り上げられて、その場でスマホからのアクセスが増える。テレビ放映とほぼリアルタイム。　土曜日に放送ですって木曜の夜に言われて1日で準備して⇒AWSを駆使してこの対応でかかったお金は5万円。　レーン上の売上をICタグで。人数と着席数、テーブル毎の注文、需要予測してレーンに流す寿司。最初の10分はよく食べる、20分以降はあんまり食べないとか。今まで蓄積された約40億レコードのデータある⇒見る手段がなかった。。 DWHを構築⇒Dr.SUMとMotionBoard。　廃棄率に応用したり。新規店と既存店をどういう軸でどのようにトレースするか。 ⇒データから見えること。本来やりたい事に注力出来てるのがナイス。　テイクアウトの注文伝票。イケてない。渡すと15分待たされる ⇒印刷物なので新商品を入れられない。　テイクアウト用に握るのは寿司の配置等でスキルが必要。回転寿司は一皿売っても5円くらいの利益にしかならない。 ⇒熟練スタッフをテイクアウトに縛り付けてしまうのは惜しい… 　ネット注文を作ってテイクアウト用に待た無くてよい仕組みの構築。いきなりやろうとすると100万円×350店舗は大規模な投資。 ⇒トライアル店舗。1000万くらいの投資で。ダメなら止めてもいいやという感じ。　サーバーは中国のスタッフが目で見張ってる～とか。 Route53を利用したTokyo⇔シンガポールのディザスタリカバリとか。　　 ■ 【上級者向け】Amazon Redshiftが切り開くクラウド・データウェアハウス 　　 Redshiftは6/5から東京リージョンでもRedshiftが利用可能になった。世界で4番目。　・Redshift(クラウド型データウェアハウス)の概要初期投資が不要(数千万から億になることも) 日々のメンテナンス等成長予測・費用対効果(数年後に数十TBとか見越して？) 　・EMRとの違い SQLで会話できる！　・ETL(データ整形) EMRをつかってRedshiftへとか。フロー制御はAWS DataPipelineも使える。(この辺実装レベルで詳しく知りたいな) 　・アーキテクチャ LeaderNodeに対してSQLを投げる ComputeNodeを増やしていって～という形。データはS3にストアされる。(こういうストレージ持ってると強いやねぇ…) PostgreSQLのJDBC, ODBCドライバが使える。データのロードはS3かDynamoDBから並列ロード。バックアップ・リストア⇒日次で。オンデマンドでのバックアップも取得可能。リサイズも管理コンソール上から簡単に。価格はオンデマンド、リザーブド両方OK。3年リザーブドだとTBあたりの単価は約1000ドル。　・NRIによるRedshiftの評価他のDWHベンダと比較して実際に使えるのかどうか？諸般の事情で今回は比較は難しいと… 　 500億件の1.5TBくらいのデータ。 8XL(16コア、120GB、ストレージ16TB、10ギガビットイーサ) 2ノードで43秒、4ノードで28秒、8ノードで20秒。線形に性能上がってく。　 S3からの500億件のロード 2ノードだと3分、4分だと1.5分、8ノードだと50秒。　 500億⇒1.2億レコードにして同じクエリを投げてみた 4ノードと8ノードだと4ノードの方が早かった。データのボリューがある程度ないと、、、といった感じか。　 EMRよりRedshiftの方が全然早い。Hiveではなくて素のMapReduceより早い。　キー指定でのチューニング。ただしロードは遅くなる。 1.2億レコードだと1.8秒が1秒に。 500億レコードだと24分が16分に。　クリック何回か押せば20分くらいで出来る。維持管理SEやセンター費用もAWSでは不要。苦手なデータ形式もある。EMRで処理してロードしなおす。数万くらいで。　　 ■ 大規模案件の裏側～巨大AWSインフラ事例のご紹介～ 　　 ・Jointv 日テレ エヴァンゲリオンQに向けたテレビとスマホの連動マーケティング。 1回押すと1ワットで矢島作戦的な。全国で1億アクセス以上。　一般的な構成＋SQSを使ったバッチサーバースケールアウト何かあった時のために日テレオフィスに集まってｗ　現在はココで構築した仕掛をつかってハリーポッターほげほげとかもやっている。　・事前プロビジョニング(オートスケールじゃ間に合わない) ・キューイング・非同期戦略(一旦受け取ってOK流してから外部のAPIコール) ・Roland BRIDGEでColdFusionもほぼ動いた… 　メルマガ配信 SESの機能でバウンスが起こったときにAPIをコールしてくれるようなのがある　 RDSで当時苦労したこと⇒TimezoneがUTC固定、文字コードがUTF-8固定　 ・ケンコーコム 3.11を機にして自社運用からAWSへ EC2 50インスタンス、RDS5 インスタンス JP-Secure社のSiteGuardというWAF導入。WAF専用Proxy。 RDSのキャラクタセット問題。欠損するデータが出てきたり。Provisioned IOPS。　ダイレクトコネクトを使ってダイレクトインポートサービスをやってる。 SAP on AWSの移行時にワンショットで。HDD持ち込んで～。10万円くらいから。　 ・TOYOTA インターネット公式サイト月間1億PV。新車発売時は通常の3倍のアクセスディザスタリカバリ。東京リージョンで障害があった時にシンガポールで復旧可能⇒クラウドフォーメーションで。 CDPをふんだんに。HA NAT(EC2 NATインスタンス)とか。 log監視を手厚くしたり。スケールアウト＆スケールアップ両方。スケールアウトは一個一個バランサから切り離しながら。常にBプランを用意する大規模プロジェクト・マネージメント。リスク管理としてはAWSすら信じない。　　　 ■ クラウドで RTB　～50ms or die. を支えるFreakOut の AWS 活用～ 　　どの広告主のどの広告が一番相応しいのか？広告オークションを通じて。　純広告：期間保証とか表示回数保証とか。誰がみても同じ広告 RTB：1回の広告表示ごとに買付て表示。アラカルトメニュー　 FreakOutでは960億/月のRTBリクエストを受けている　広告表示までに許される時間は0.1秒 ⇒媒体がリクエスト受けて、SSPからRTBのリクエストがきて、オークションでさばいて、レスポンス。　レイテンシの軽減、RTB処理、画像とかFlashとか。自作サーバーをラックに並べる。多コアを安く並べる。　画像/flash配信は広い帯域が必要⇒S3＆CloudFront S3：特定少数のクリエイティブ CloudFront：不特定多数のリクエスト　費用対効果の追求・CPUネックな処理は安価な自作PCで。・不特定多数への大量配信はCDN(AWS)で。　 QA 自作サーバーに関する質問多数　 FreakOutの海外展開。 EC2上でLVS(KeepAlive)が使えなかったのでELB。 ElastiCacheやRDSも使わず。 ⇒ELB以外は自分たちでミドルウエアの運用してる感じ。　ログ関連 S3経由で。海外からputして日本でgetしてからオンプレのHadoopで。 AWSは良い意味でドライ。都合が良いクラウド。使う側のエンジニアがちゃんと考える事が重要。海外に出て行くにあたって他のクラウドもイロイロみたけど、他に選択肢ない感じ。　 QA 海外と日本はデータベースは別々。データの連携も無い。　 CloudFrontはReservedCapacityを使うと安くなる10TB overなら。ただし、リージョン単位になるから要注意。　カスタムｘｘってのがあってドメインがアレできるけどSSLがまだ。 https対応でビーコンとかクッキーでドメインが～＃この辺とても大事なところなんだけど、よく分からなかったな…orz 　 ElastiCacheがVPCで使えるしReservedなプランもある。　溝口さんテクノロジーカンパニーとして技術者が判断。 50ms以内で将棋刺してるようなもん。非常に興味深い分野。もしかしたら現地サーバー買うかもしれないし。インフラ、分析、配信、、エンジニア募集中　　 ■ 【上級者向け】AWS クラウドデザインパターンの実装ノウハウ 　　 AWSのSDKとかツールに焦点を当てて。パターン適用の自働化 / APIを使った自働化スクリプト実装のノウハウ / 再現性　 Pythonベースのコマンドラインツールが最近出た。便利らしい。　・バックアップのパターン EBSのスナップショットはマネージメントコンソールから右クリックでもえきるけど、 ↓こんな感じで出来る aws ec2 create-image --instance-id hohohoho -name backupxxxxx タブで補完が効くらしいけど、ネットワーク接続が必要らしくデモが上手くいかなかった。認証情報。IAMで管理。SDKが実行時に自動的に取得してきてくれる。バックアップのAPIしか叩けないとか。　・Cloud DIパターン IPアドレスやDBの接続情報を外から叩きこむ。EC2のタグを利用して。 /user-data ←EC2インスタンスを立ち上げる時に使える領域。　・セキュリティのパターン踏み台サーバー。アクセス先、アクセス元を最小限に。必要な時以外はハジく。 Cloud DIパターンを使ってインスタンスの有効期限を設定。＃やっぱりコード出てくると分かりやすいな。。。　・HAを実装するパターン VPCにおいてサブネットがAZをまたげない。またいでフェールオーバーしたい←Internal DNS(Route53)のTTLに依存してしまう。 ⇒Routing Based HAパターン APIでルーティングテーブルが変更出来る。 NECのCLUSTER PROという商用製品でも使われている。　　 ■ ウェブテクノロジーをエンタープライズで活かすには？ 　　コンシューマー領域からエンタープライズへのフィードバックが増えている。　・Treasure Dataの太田さん若いベンチャー。クラウドを活用したデータ解析。 2年ほど前にシリコンバレーで起業。25〜30名の会社。 "Consumerization Of IT" ITの使い方がどんどんコンシューマー化している。 Hadoopのユーザー会。コミュニティはエンジニアだけ少数だったのが1500人のカンファレンス。 Hadoopを扱うのって簡単じゃなかったからConsumerizeすればイケるのではないか。　・三井物産の黒田さん ITランドスケープ。 2010年にクラウド検討したら日本のAWSは社員2人しかいなかった。 SAPがAWSで動くかどうかが前提だった。トータルコストは？システムインテグレーターは？　・電通の平川さん SalesForce:きめ細かいINPUT AWS:自由なOUTPUT 　 AWS: 消費者接点。マーケティングシステム。オンプレミス: 業務/会計等基幹システム。　企業と消費者のコミュニケーションはスマホ等を通じて益々活発になってきている。　マーケティングはトレンド等で急にやり方を変えなきゃいけない。 ⇒ビジネスのPDCAを回すのにサーバーが不安定とか考えている暇がない。　　 ■ JAWS-UG東京第16回勉強会 in AWS Summit Tokyo 2013 　　 Evangelistのスケールは難しい… 　 AmazonのCTOのワーナーさん　 Obama for AmericaのMilesさんからはGame Dayの解説とか。　 cloudpackの後藤さんによるNYとTOKYOのAWSサミットの違い　 COOKPADのインフラエンジニアの星野さんによるEC2インスタンスガチャな話　宮城県にお住まいの後藤さんによる田舎なデザインパターンとかｗ　サーバーワークスの大石さんはAWS認定試験に合格されたらしいです！　そして、いよいよ、、ウルトラクイズ。土曜日に↓こんな勉強会に参加して準備してきた事もあり気合入っておりまして、 AWSウルトラクイズ AWS Summit Tokyo 完全対策勉強会 at 首都圏コンピューターにいってきました | shinodogg.com その仲間と同じTシャツを着て望んだわけですが、、結果はステージ上まで残ったものの、SESの問題で間違えて敗北…。WebのAPIあるじゃんね、と…orz でもまぁ、AWSを包括的にグワっと勉強するのにとても良い機会でした。