Mozilla Flux

Mozilla関係の情報に特化したブログです。

実環境のテスト……にはたぶんならない

あくまでネタとして。

Webブラウザの性能は、実環境に即したベンチマークで計測することが大事だ、とずっといわれてきた。でも、実際には難しい。Gmailのパフォーマンスは、その人がどれだけのメールをため込んでいるかによって変わってくるし、Google Mapは処理速度を手軽に数値化できない。

かといって、Webアプリ級の重い処理でないと今のWebブラウザはどれも易々とこなしてしまうので、全然差がつかない。実環境ベースで、ページの読み込みやJavaScriptの処理にそれなりの負荷がかかって、数値化できて、しかもユーザーごとに追試可能なテストってあるだろうか。

はてなブックマークを使うのはどうだろう。たとえば、『はてなブックマーク - Firefoxノベルティセット欲しい!とは - はてなキーワード』あたり。これは間違いなく実環境だ。ページは長いし、自分のアイコンを設定しているユーザーも多いので、小さいけれど多数の画像を読み込む。JavaScriptも使われていて、はてなスター絡みは表示されている件数に応じた処理になるから、負荷も馬鹿にならない。

数値化の方法は、ブックマーク(お気に入り)あるいはリンクをクリックしてから処理が完了するまでの秒数を計ればいいだろう。もちろん、あらかじめディスクキャッシュはすべてクリア。メモリキャッシュの影響を排除するため、起動直後に計測を行う。サーバーの影響を軽減するため、三回の平均を出す。

ページの内容が変動するから、厳密なチェックは無理だけれど、たくさんブクマが付きつつ現在では落ち着いているものも探せばあるかもしれない。誰でもアクセスできるから、追試も簡単といえる。

実際にやってみるとわかるが、Firefoxはこのテストが苦手だ。手元の環境だと、Firefox 3.0.7は一時的に応答しなくなる。Shiretoko(3.5b4pre)はスクリプトが応答しないという警告が出る。JavaScriptをオフにすると大丈夫なので、JavaScriptエンジンの問題だろう。一方、Google Chrome 2.0が速いのは予想どおりだが、IE8もかなりスムーズだったのは意外。

お遊びとしてはけっこう面白いと思うのだけど、どんなもんかな。