Mozilla Flux

Mozilla関係の情報に特化したブログです。

Firefox 6のパフォーマンスチェック

あっという間にFirefox 6である。開発が順調に進み、予定通りのリリースとなった。6週間という短いサイクルで新バージョンが提供されるため、以前のように開発版(mozilla-central)ではとっくの昔に修正されたバグがユーザーを悩ませるといったことも起きない。アドオンの互換性や企業におけるサポートの問題など、ネガティブな面に目が向けられがちだが、高速リリースサイクルが一般ユーザーにもたらすメリットは大きい。

さて、再びベンチマークをとってみよう。以下のとおりFirefox 5とFirefox 6(Beta 5)を対象とし、Windows 7 SP1(64bit版)上で32bit版を動作させる。新規プロファイルを初期設定のまま利用し、アドオンはすべて無効化するが、プラグインはAdobe Flash Player 10.3だけ有効にして、実環境から離れすぎないようにした。なお、今回は環境を新しくしたので、ハードウェア(HW)アクセラレーションが有効になっている。

  • Firefox 5:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:5.0.1) Gecko/20100101 Firefox/5.0.1
  • Firefox 6:Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0

ページの読み込み

WebWaitを用いて、指定したWebページを10秒間隔で5回読み込ませた。Yahoo!ニュースasahi.comを対象にしており、秒数が少ないほど高速だ。対象URLを一部変更したのは、コンテンツにある程度「重量」がないと差がつかないため。

Yahoo!ニュース

Firefox 5 Firefox 6
平均値 1.10秒 1.00秒
中央値 0.67秒 0.76秒

平均値ではFirefox 6が、中央値ではFirefox 5が勝った。相対的にFirefox 5の読み込み速度にばらつきがあるため、このような結果になっている。ただ、前回のテストでは、Firefox 5はFirefox 4よりもそうしたばらつきが小さかった。つまり、読み込み速度がバージョンアップごとに安定してきている可能性がある。

asahi.com

Firefox 5 Firefox 6
平均値 2.02秒 2.00秒
中央値 1.50秒 1.44秒

こちらは平均値、中央値ともにわずかにFirefox 6が上回った。Webページの読み込みに関して、Firefox 6は、Firefox 5と同等以上のパフォーマンスを発揮していることが窺える。

動的ページの処理

GUIMark 2から、Vector Charting TestBitmap Gaming Testに加えてText Column Testをピックアップ。環境が変わったので前回のテストと単純な比較はできないが、相対的な差をみるため、HWアクセラレーションをオフ(gfx.direct2d.disabledとlayers.acceleration.disabledをそれぞれtrue)にしたFirefox 5も項目に加えてある。

Vector Charting Test

Firefox 5 (HWA off) Firefox 5 (HWA on) Firefox 6
fps 17.58 21.33 21.83

HWアクセラレーションが効くと表示が高速化されるものの、あまり大きな差はなかった。バージョン間の差も誤差のレベル。

Bitmap Gaming Test

Firefox 5 (HWA off) Firefox 5 (HWA on) Firefox 6
fps 16.98 58.87 58.81

こちらはHWアクセラレーションが劇的な効果をもたらしている。一方、バージョン間の差はやはり誤差のレベル。

Text Column Test

Firefox 5 (HWA off) Firefox 5 (HWA on) Firefox 6
fps 49.77 51.04 55.01

HWアクセラレーションが効いていても多少の差しか出ないが、他方でFirefox 6はFirefox 5よりも明らかに高速である。

Canvasの描画

風と宇宙とプログラム「Canvasのベンチマークテストを作って速度を比較してみた」に掲載されていたCanvas Performance Benchmarkを用いて、Canvasの描画処理に関する性能を測定した。

Firefox 5 (HWA off) Firefox 5 (HWA on) Firefox 6
Total Score 1.28 2.33 2.30

やはりHWアクセラレーションは強力だ。バージョン間の差については微妙で、誤差のレベルとも、Firefox 6でわずかに後退しているとも、どちらにも受け取れる。

HTML5/JavaScript総合

4Gamer.net「『enchant.js』でゲームはどれくらい動くのか? HTML5でゲームベンチマークを取ってみよう」に掲載されていたシューティングゲームタイプのベンチマークを利用し、100秒間のフレームレートの合計値を測定した。なお、enchant.jsはHTML5/JavaScriptベースのスマートフォン用ゲームエンジンである。

Firefox 5 (HWA off) Firefox 5 (HWA on) Firefox 6
Score 6434 6963 7082

HWアクセラレーションが効いて一段加速、Firefox 6でさらに高速化といった感じだ。前回のテストでは、ゲームコンテンツを処理させるとFirefox 5の性能の高さが目立った。Firefox 6だともっと速くなるわけだ。

JavaScript処理

代表的なJavaScriptベンチマークを利用して、初期設定の状態でのパフォーマンスを見ていく。

SunSpider

Chromium Blog「Updating JavaScript Benchmarks for Modern Browsers」で紹介されている、Google修正版のSunSpider 0.9.1 JavaScript Benchmarkを用いる。それぞれのテストを50回連続で行うようにしたものだ。

Firefox 5 Firefox 6
Total 196.2ms +/- 2.7% 192.4ms +/- 2.1%
3d 29.4ms +/- 3.8% 28.7ms +/- 3.7%
access 28.7ms +/- 4.4% 28.9ms +/- 3.7%
bitops 15.3ms +/- 5.0% 15.5ms +/- 5.1%
controlflow 2.0ms +/- 1.1% 2.2ms +/- 13.3%
crypto 9.6ms +/- 2.9% 9.9ms +/- 8.4%
date 25.4ms +/- 4.8% 22.9ms +/- 4.4%
math 17.8ms +/- 4.9% 17.6ms +/- 3.5%
regexp 12.2ms +/- 5.9% 12.1ms +/- 5.8%
string 55.9ms +/- 3.7% 54.5ms +/- 3.9%

Firefox 6のスコアがわずかながら高い。dateとstringの項目で成績がよく、それが影響を与えているようだ。

V8 Benchmark

次に、V8 Benchmark Suite - version 6のスコアをチェック。

Firefox 5 Firefox 6
Score 4632 4884

こちらは明らかにFirefox 6の勝ち。個別の項目を見てもRegExp以外のすべてで改善がみられる。Garbage Collection stats and thesis updates『What’s new in Firefox 6 from the GC side?』で紹介されているガーベッジコレクションの改良、すなわちファイナライズ処理の大半をバックグラウンドのスレッドで実行するようにしたことが原因だろう。

Dromaeo

Dromaeo: JavaScript Performance Testingは、Mozillaが提供する重量級ベンチマークであり、JavaScriptエンジンなどにかなりの負荷をかけてその性能を測定してくれる。以下にRecommended Testsの最終結果を掲載する。詳細は比較表からどうぞ。

Firefox 5 Firefox 6
Total 461.21runs/s ±1.69% 464.68runs/s ±1.64%

Firefox 5に引き続き、Firefox 6もスコアがわずかに向上している。ただ、Firefox 4から大きな変化はなく、型推測(Type Inference)などの新機能に期待したい。

Kraken

Kraken JavaScript BenchmarkはMozillaが提供するベンチマーク。従来のものと比べ、現実のWebアプリを処理した際の性能を反映した結果になるという。

Firefox 5 Firefox 6
Total 4524.6ms +/- 0.6% 4538.7ms +/- 0.9%
ai 752.9ms +/- 1.1% 755.9ms +/- 0.8%
audio 1506.5ms +/- 1.0% 1502.8ms +/- 1.4%
imaging 1363.3ms +/- 0.3% 1382.6ms +/- 0.6%
json 165.4ms +/- 2.0% 168.4ms +/- 4.0%
stanford 736.5ms +/- 1.5% 729.0ms +/- 1.8%

誤差のレベルかもしれないが、Firefox 6のスコアがわずかに落ちている。前回のテストでFirefox 5が若干後退していたこともあり、気になるところだ。

総合評価

今回のテストは、主にHWアクセラレーションのパワーを確認する結果となった。Firefox 6は、Firefox 5に引き続きゲーム関連のベンチマークで好成績を収め、順調にスコアが伸びているが、他は横ばいである。ただ、コンテンツの読み込み速度が安定してきている点は、もしそうだとすれば嬉しい。読み込みが急に遅くなるケースが少しでもあると、体感に影響するからだ。

また、以上のベンチマークはコンテンツの処理性能を測定しているにすぎない。Firefox 6ではJaegerMonkeyがFirefoxのUI処理にも適用されるようになり(Bug 646312)、応答性も向上している。これは、Firefox自体が巨大なJavaScriptアプリケーションという側面ももっているためだ。

Firefox 3.6以前ならセキュリティ・アップデートがリリースされるペースで新機能や性能向上を享受でき、しかも、アドオン互換性センターによれば、現時点でアドオン利用者の95%に使われている618個のアドオンのうち97%が既にFirefox 6に対応済みだ。冒頭でも述べたとおり、一般ユーザーにとって高速リリースサイクルがもたらすメリットは大きい。直ちに最新版にアップデートすることをおすすめする。