TS-932XのCrystalDiskMark・Readベンチがやたら速い件に関する考察

前回（快適10GbE環境に向けて -NAS編-）の続きのようなものです。

前回のおさらい

10GbE対応NASへのリプレイスということでTS-932Xを購入し、HDD4枚でRAID6を構成したボリューム等を作成しました。そしてCrystalDiskMark（以下CDM）でベンチマークかけたところ、Readの結果が10GbEの帯域マックスの1200[MB/s]強という値が出ており、流石にこれはおかしいと言うことで原因を探りました。

CDMベンチマーク結果

はじめに各ボリュームのCDMベンチ結果をFig.1に示します。上の表がRead、下の表がWriteになります。またHDD-RAID6のカッコ内の数値はHDDの本数になります。先の記事では4本にしていましたが、旧NASから1本引っこ抜いてRAID6グループに追加しましたので5本の時の値も載せておきます。

Fig.1に示したように百歩譲ってSSDのRAID0ならありえなくはない数値ですがそれ以外は理論的にも出せない速度が出ています。RAID1構成のSSDでもSATA6Gの帯域から考えて最大600[MB/s]になるはずです。そもそもReadの値はどれもほとんど一致しており、その点からも共通のキャッシュか何かの値ではないかと思います。

Writeの値はそれなりに正しいかなと思います。シーケンシャル（Seq Q32T1）の値を見てみると、同じRAID6構成のHDDでも4本より5本のほうが1.5倍くらいの速いみたいですね。またディスク4本だと実際にデータをおける領域は半分になりますが、5本だと4本のときの1.5倍の領域を使うことができます。 HDD１台の容量を3[TB]とすると、HDD４本で６[TB]、５本で９[TB]になります。5ベイNASのほうがRAID6構成にしたときお得感（？）ありますね。

仮説と検証

さて前回のベンチマークを回している最中はCDMのウィンドウに注視していたので気が付きませんでしたが、ベンチマーク最中のTS-932XのディスクアクセスLEDがさっぱり点滅していないことに後々気が付きました。

ディスクアクセスLEDはHDDやSSDに読み書き等何らかのデータをやり取りしている最中に点滅するもので、Fig.2中やや左側の「1,2,3,4,5,S1,S2」と緑色で点灯しているやつです。結局、HDD/SSDのどちらでもない場所にキャッシュされていることが考えられます。真っ先に考えられるのは容量的にもメインメモリしかないのでCDMによるベンチマーク中のメモリをリソースモニタで確認してみました。結果をFig.3に示します。

Fig.3を見ると、ベンチマークを回し始めた直後にキャッシュ領域（黄色）が増加しています。どれくらい増えたのか詳細をFig.4 に示します。

Fig.4 中の赤枠はベンチ前に詳細を確認したときのスクショでサイズは同じまま合成したものになります。これを見るとキャッシュ領域は5.1[%]から17.7[%]に増えています。RAM容量は7.84[GB]なので増加分は約989[MB]であり、CDMのテストサイズである1[GiB]と大体一致しています。

Readテストをするにはまずベンチ対象に何らかのデータが無いと測るものがないのではじめに指定テストサイズのデータを生成するのだと考えられます。そして生成されたテストデータがRAM上にキャッシュされ、Read速度測定はその後すぐ開始されるのでそのキャッシュデータがヒットし読み取られるのではないかと考えられます。

ここで新たな疑問が生じます。前回行った、エクスプローラ上でNASからPCへ10[GB]のファイルを転送したときには10GbEの帯域をフルに使うような速度は出ていませんでした。Fig.5 に前回のエクスプローラ上での測定結果を示します。

その原因は単純に転送ファイルのサイズがキャッシュ領域より大きかったため溢れてしまったことだと考えられます。前回生成したファイルは10[GB]ですのでメインメモリの8[GB]を完全にオーバーしています。よってHDDやSSDから直接読み取られていると思われます。この仮説を検証するため、キャッシュに乗りきる1[GB]のファイルを生成し、一度NASのHDD（RAID6）へ転送した後すぐにNASからPCに転送したときの転送速度を測定しました。結果をFig.6に示します。

10GbE上で1[GB]のファイルを転送したので、転送時間を計測するまもなく一瞬で終わってしまいましたがなんとかスクショを取りました。転送速度は約1[GB/s] = 8[Gb/s]であり、10GbEの帯域上限に近い値です。またFig.5に示したHDD-RAID6上に置いた10[GB]ファイルをPCへ転送したときの速度である256.41[MB/s]の4倍もの速度が出ていることからキャッシュが効いているものと考えられます。

結論

CDMベンチがやたら早かったのは生成されたテストファイルがRAM上にキャッシュされ、それを参照していたからだと結論づけました。

余談

ベンチマークを実際のファイル転送速度に近づけるためRAMへのキャッシュを無効にする方法を探したのですが、現状見つかっていません。また前回キャッシュを設定した覚えはないと書きましたが、デフォルトでEXT4遅延相当の書き込みキャッシュが有効になっていることに気が付きました。すみません。

一応Fig.7のチェックボックスを無効化してベンチを回してみましたが、転送速度もキャッシュの使用状況も変化がありませんでした。