hbstudy(http://heartbeats.jp/hbstudy/)に行ってきました。 自分はアプリケーションとかミドルウエアのエンジニアなわけですが、 自社サービスの運用をやってることもあって、知らなくていいか？っていうと、 そうでも無い立場なので、新宿ということもあり、行ってきました。
ハートビートの坂口さんによる「運用/監視のコツ」と題した発表と、 ひとり5分のライトニングトークスっていう2部構成。
-- ・坂口さんの発表 ケーブリングとかから、Jmeterで負荷かけたりとかまで、幅広い。 L1-3(ネットワーク) も L4-7(SSH,HTTP,RAIDとか) も 両方。
Hinemosとか、Nagiosとか、聞いたことあるけど、日ごろ触れてない モノ達が多数。(普段はMRTGみてるくらい)
どういうところで、どう使ってるのか？ってのが分かって勉強になりました。 ＃その反面、JavaのOutOfMemoryがなんちゃらとかってのは、 # jstatコマンドとか使えばもっと適切に出来たりするんじゃない？とか思ったり。
バッチ処理中の時間帯は負荷を許容するとか、メンテ中は監視を止めたりできるかとか その辺をフレキシブルにいじれるかどうかも重要ですよね。 # 普段は監視の停止お願いしまーすって連携するだけで、 # それがどう行われているのかとか把握しておらず。。
割とNagiosの話題が多かったように思いますが、 設定ファイルはSubversionで管理して、テスト環境で試してから本番に持ってってるそうです。
ただし、Wordで作っているサービスごとの手順書とかは、 当番制で回してるので版管理が難しく、ファイルサーバでxxみたいな 運用になってしまっているそうでした。 Wikiを使っているよーとう方も会場の中にいらっしゃいました。
最適な監視とは？ってところで、 むやみに項目増やすんじゃなくて、例えばMySQLだったら、MySQLの コマンド叩いて判別しようぜ？っていうアプローチ。 # CactiでMySQLのクエリ発行回数とか見れたりするの便利ですね → この辺、アプリ屋とかDB屋とかサーバ屋とかっていう建付けが もっと柔軟になれば、もっといい感じに運用できそうだなっていう印象を受けました。
本番のオペレーション記録は全てファイルサーバに残しているそうです。 PuTTYのプラグインで残せるようにしたりとか、(iniファイルで設定) Twitterのタイムラインではscriptコマンド使えばとかそういう感じ。
あとは、ハートビーツさんはインフラの運用を受託してやっているということで、 ｘｘから先は開発会社さんがーとか、そういうの、苦しいよなって。。 自分も昔は受託開発やってたので、直したくても予算がないとか言われて ふてくされたことも多々あったので、その頃の思いがちょっと蘇りました。。
-- ・ytsuboiさんのLT
ドメインの有効期限とサーバ証明書の有効期限をNagiosで監視 → コレありますよね、自分も忘れてて、あっぶねぇって時が何度かありました。。 Nagiosコマンド追加したり、perlの正規表現で頑張ったりとかで、 そういう工夫熱いなと思いました。
いまどきのサーバは滅多に壊れない。 が、先日、某社のDNSがマルっとコケた際に、自前のDNSでキャッシュしてるので しばらく気が付かなかった。
これだけは知っておきたい ネットワークの常識
-- ・yuzorockさんのLT
Gooのインフラエンジニア。CentOS, RedHatが多いそうです。
キーワード的にはサーバエンジニアとして↓のような感じで。 kickstart,yum,puppet,nagios,cacti,IPMI,rsyslog,syslog-ng,swatch,Trac,excel
syslogの管理について、壊れたらログインとかしてやってるので、 もうちょっとインテリジェントにやりたいなとのことでした。
-- ・hyoshiokさんのLT
FaceBookの例。うん万台のサーバを30人とかでやってる。 1人1000台運用できるように。ベストプラクティスの探求しないと。
スライド無しでの講演でしたが、さすが吉岡さん、存在感っていうか、 迫力っていうか、全然ちげぇ。。
-- ・越川さんのLT
CactiとかめんどいのでRRDTool使ってる。 Xymonグラフは5分ごとの値が48時間しか保持できないので拡張した。 お客さんからお金もらえずに、ボランティア的に実装したので、 勉強会で公開しちゃうっていう熱いノリ。
-- ・matsuuさんのLT
タイル型ウインドウマネージャ。 ウインドウを手で動かしたり、並べたりしてませんか？と。 自分は激しくやっているのですが、 awesomeを使うと、ウインドウマネージャがしてくれて ウインドウ同士が重なることがない。 また、並べてほしくない(GIMPとか)例外設定とかも出来る。
-- ・think-tさん
一晩かけても作業が終わらず、お客さんの業務が朝からはじまっちゃって、、、的な こんなんありますよねエピソードを交えつつ。 7月の最終金曜日はサーバ管理者の日だそうです。 過酷な状況で働いているサーバ管理者をもっと敬いましょうと。。
-- ・永安さん
NTTデータ→起業 PostgreSQL Conferenceの報告 Ustで公開されているものもあり、おすすめの紹介 チューニング技法とか、ユニットテストとか、ユーザグループって何やってんの？とか スタッフとして関われば、セッションタダで見れたりするんだぜとか。
-- ・馬場さん
振り返り。月1回2時間程度。土曜日にやってる。 現在6回目。話したい人募集。
-- ・皆勤賞の表彰式
全部の回に出席されている人がいて表彰されてました！
-- 非常に勉強になりました。 懇親会にいって現場ならではの話をいろいろ聞きたかったのですが、 歯の治療中でお酒が微妙ということで、、 次回も参加したいなと思います。
