D-7 <altijd in beweging>

Day to day life of a Perl/Go/C/C++/whatever hacker. May include anything from tech, food, and family.

2012年09月

YAPCが終わって嫁と息子とラブラブしております。皆様お元気ですか。

まずまだそうしてないならYAPC::Asia Tokyo 2012の感想、レポートのブログを書いてURLを教えてください!もし景品がいらないとしても、バンバンリストに追加したいのでURLを教えてください!




ともあれ、とりあえずようやくちょっと回復してきたので現時点での自分の感想。肉体労働は減ったけど、疲れるのは変わりなかった。ちなみに今年は撤収が楽すぎてわろた。一番ひどかった時は7時閉場、10時半まで佐川急便待ち、とかあったなぁ(遠い目)

良くできたな、と思ったところとしては今年はスケジュールの組み方が我ながらすげぇうまくいったなー、と思った。


↑ほめ言葉なんだぜ。まぁ部屋に人が入りきらないとかもあったけど、誤算だったのは一部だけで、あとはしょうがなかったのです。

あと最後の最後に色々入れ替えが必要で、直感だけで決めたLTの一日目のトリと2日目のトリがうまくはまったのと、突然受付で「今日LT飛び込みしたいんですが!」と行ってきた@moznion さんを採用した自分のLTコンテンツバイヤー(?)としてのセンスを賞賛したい。ちなみに @moznion さんとは以下のような会話をした記憶がある(多分正確じゃないけど、こんなイメージ):

俺「スケジュールもうパンパンなんだけど・・・ちなみにタイトルは?」
m 「『みんなだいすきサスペンダー』です!」
俺「(!)」
俺「(... こやつ、できる ... かも!)」
俺「短くできる?」
m「はい!」
俺「2,3分?」
m「はい!」
俺「よし、乗った!」

と、こういう感じで決めたよーな記憶があります。決めてよかった。

ちゃんとした感想はまたそのうち書くかな。
    このエントリーをはてなブックマークに追加 mixiチェック Share on Tumblr

前提: STFのワーカーのプロセス数

STFを受け継いだ時点ですでにワーカープロセスの形は決まっていた。いくつかのサーバーにワーカーの「親」プロセスがいて、そいつが必要に応じて本当の処理をするための子プロセスをforkしていく。どの種別のワーカーがどれだけforkされているか、というのはParallel::Scoreboardに記録されてた。それぞれの種別のワーカーがどれだけforkされるべきか、というのは設定ファイル等に書いておく。設定ファイルは(面倒なので)全てのワーカーで共通。

共通設定ファイルにワーカー数が書いてあるということは、例えばワーカー(親)を増やしたりすると、その分だけ単純にワーカーが増える。例えば Replicateというワーカーが4プロセスforkされるように書いてある設定ファイルで、ワーカーを3から4に増やすと、システム全体のReplicateワーカー数が単純に12から16に増える。

だいたいの場合これでも問題ないけれども、そもそも直線的にワーカー数を増やした場合に皮肉な事に裏方のストレージサーバーが耐えられない、ということもありえる。ということは常に総ワーカー数を逆算しながら設定ファイルを書いて例えば「最大30個くらいのワーカーまで耐えられて、で今5サーバー x 4プロセスで20個で、これから4個追加するから1サーバーあたりのプロセス数は・・・」とか考えなくてはならない。

別に親ワーカーの数が10000とかおかしな事にならなければできない事じゃないけど、まぁそれでも計算を間違える可能性もあるし、なにより人間がその計算方法をちゃんと意識しなければいけないのがいけてない。総数から勝手に調節してほしい!

・・・というのがそもそもの発端。

続きを読む
    このエントリーをはてなブックマークに追加 mixiチェック Share on Tumblr

このページのトップヘ