高性能NAS-CloudyⅢシリーズを使用したSAN(Storage Area Network)環境の置換え

まえがき

このドキュメントはWindows Storage Server 2012 R2©を搭載したNAS(Network Attached Storage)によって、ファイバチャネル(Fibre Channel以下FC)ベースのSAN(Storage Area Network)によって構築されたシステム、機材の置換え・更新を行うことについての当社提案を述べています。
このドキュメントに記述された内容は、作成時点での情報に基づいています。数値データは当社の試験環境において得られたもので、いかなる環境、構成下においても記述内容の性能が享受できることを保証するものではありません。
このドキュメントはWindows OSを搭載したサーバー、ネットワーク構成、ストレージ環境のシステムインテグレーションおよびその関連事項についての知識を有することを前提に記述されています。
このドキュメントはMellanox社とのホワイトペーパーに加筆・再編集を行ったものです。

SANをとりまく状況の推移

FC SANの黎明期

SANを構成するにあたり、必要な要素として、FC接続ができるストレージと、SANの共有調停を行うミドルウェアが必要となります。約20年前に第1世代のFC SAN製品が市場に出始めました。
Fibre Channel(FC)は1988年にANSI T11委員会内のワーキンググループによって提唱され、業界団体であるFCA(後にFCIA)を構成する多くの会員企業によって推進されました。

1Gbps FCから始まり、数年後には2Gbps FCへと進化したFCは、当時のネットワークが100Base/Tであったことから、圧倒的な帯域優位性を持っていました。
機材側で見るとQlogic、Emilexなどによりコンパクトで手頃な価格帯のFC SW製品が提供され、多くのHBA(Host Bus Adapter)メーカーと、ストレージメーカーが存在しており、システムを組む場合に豊富な選択肢が用意されていました。
ソフトウェア側からみた場合にも多くのメーカーがSANミドルウェアをリリースしていました。一部製品では複数クライアントからのボリュームアクセスに制限事項があったりもしましたが、対Ethernet比10～20倍の速度による帯域の優勢性は大きな魅力となり、ブロックデバイスレベルの共有による低遅延性、マルチクライアント・アクセス、高いスループットなどを要求するユーザーはSANを選択しました。

FC対Ethernetの進化競争

FCの帯域はほぼ2年毎に倍に強化され続ける計画になっていましたが、実際には計画通りに進みませんでした。2006年当時、4Gbps FC製品は依然として最新型として流通していました。8G bps FC製品が市場に出回り始めた頃、Ethernet製品は10Gbps(以下10GbE)の製品も市場に投入され始めました。ネットワーク共有アルゴリズムがまだ成熟していなかったこと、今日では当たり前になったオフロード機能がNICに搭載されていなかったためCPUパワーを消費したことなどの理由により、初期の10GbE環境によるネットワーク共有はSANに対抗するには苦しい面もありましたが、先進的なベンチャー企業が主な推進役となり、クラスター構成が主流となったサーバー市場から浸透を始めました。

この当時、ISIRONに代表されるクラスタ構成のネットワークストレージも台頭を始めました。背後にInfiniBandなどの高速ネットワークを使用したユニット間相互接続と、ユニット数増加によりトータルの帯域を拡張する手法により、SANのマーケットと重複した製品提供が行われました。

InfiniBandはInfiniBand Trade Associationにより2000年に提唱された新規格の高速ネットワークで、56Gbpsの高速性と低遅延性を武器にHPC(High Performance Computing)市場から市場展開を始めました。その後市場の裾野を広げ、今日では映像分野での適用例も多く、Ethernetをはるかに凌ぐ高速ネットワークとしての地位を確立しています。

SANをとりまく環境の変化-1(ハードウェア)

まずハードウェア(機材)面から見ると、最近数年間で大きな環境変化が避けられませんでした。2015年末の現時点においてもFCの帯域は16Gbpsが最高速となっています。後述するように今日では速度のアドバンテージを失ってしまったと言っても過言ではありません。

Qlogicは長年にわたり、手頃な価格のFC HBAとSWを市場に提供して来ましたが、8G FC製品を最後に、新規モデルSW製品をリリースしないと言う発表を行いました。これは少～中規模のSAN環境を構成する際、機材選択上のネックとなります。
RAID装置メーカーそのものに目を向けると、ストレージニーズの変化に伴い、大きな企業買収、RAIDラインナップの終息宣言が次々と行われ、数年前に比べストレージそのものの選択肢が非常に狭くなってしまった事も否めません。

SANをとりまく環境の変化-2(コスト、OS、仮想化)

MicrosoftがWindows Vistaをリリースした頃からSANクライアントの使用するWindowsバージョンは短期間に新しいものへと切り替えられる様になりました。また映像、画像分野での主力機となっていたApple ComputerのMac OS Xも数年おきに新OSをリリースしました。SANのミドルウェアメーカーはこれら新OSへの対応、複数OSバージョンへの対応を余儀なくされました。

SAN構成を運用して行く場合に避けられないのが、SANミドルウェアのライセンス料があります。多くは使用を続ける間の年更新(または数年一括)のライセンス料になるため、運用コストに計上されます。また、マルチOSサポート、多数クライアント、性能の維持方法などを要件とするSAN環境の構築とメンテナンスは知識とノウハウに基づいているため、運用維持にあたってもSAN環境構築スキルを持ったエキスパートの支援が必要となります。クライアントPCの追加、故障-修理による入れ替え、ストレージの追加、変更など、運用を継続する為のコストとしてサポート費も計上されなければなりません。

仮想化環境が実用的になった頃、FC SANに代わりiSCSI SANの適用が多く見られました。ネットワーク接続のみで構成できるiSCSI SANは仮想化環境との相性が良く、仮想マシンを他の物理マシンに移動するような動作もハードウェア環境の変更を伴わず行うことができます。iSCSI SANが爆発的に広がる期待が持たれましたが、容易にクライアント数を変化させられる仮想化環境では、維持メンテナンスにかかるコストとライセンス料が壁になり、当初の期待通りには普及できませんでした。

SANをとりまく環境の変化-3(SANミドルウェア)

毎年4月に米国Las Vegasで行われる世界最大の映像、放送機材展示会NABには2014年に大きな変化が見られました。
SANミドルウェアのメーカー複数社が従来のソフトウェア販売から、ハードウェアとの一括化をしたアプライアンス販売への移行を表明したことです。

これらのアプライアンス製品はSANミドルウェアライセンス料ゼロを謳っていますが、ハードウェアとの一体化により、単独ライセンス料を見えなくし、同時に販売価格の引き上げを狙わざるを得なかったと見るべきでしょう。アプライアンス化によりSANはパッケージ化され、機器選択をしなくても良くなった分、簡単になったと見ることができる反面、構成の自由度を失っている点にも注意が必要です。

新世代ネットワークの台頭

2015年現在、10GbEはもはや特殊な機材で構築するネットワークではありません。

10GbE NICとSWは、8G FCのHBAとSWを購入するよりもはるかに安価で調達が可能です。また10GbEは「最先端のネットワーク」ではなく、どちらかといえば「枯れた」テクノロジーになっています。後述する当社の展示会における実働デモの結果から、十分に速いストレージを内臓したNASを使えば、10GbEの帯域をほぼ使い切り8G FCの帯域を超えるスループットが容易に得られています。

将来性を考えた場合、または16G FCとの比較を考えた場合、ネットワーク製品は40GbE、56G InfiniBand製品が既に市場投入されており、25GbE、50GbE、100GbEもNICとSWが市場に提供されている事に留意するべきです。

それぞれのネットワーク規格の帯域を考えた場合、依然として16Gbpsで足踏みをしているFCには難しい状況となっています。56GbpsのInfiniBandは16G FC4本に近い実用帯域を持っています。

SMB3.0が変えたWindows共有の可能性

Microsoftは着実にWindows Storage Serverの改版を実施しており、現行モデルは
Windows Storage Server 2012 R2となっています。Windows Storage ServerはWindows Server製品のストレージメーカー向けOEMバージョンであり、ユーザーが享受できる最も大きなメリットは「CAL(Client Access License)」によるクライアント数制限が無いことです。CAL FreeのためにWindows Serverをある程度のクライアント数で使用する場合、必須となるCALの追加コストは必要ありません。

Windows Server 2012世代からMicrosoftはSMB3.0を実装しました。これはWindows共有のコアパートの機能を従来から大きく進化させたもので、RDMA(Remote Direct Memory Access)機能を持ったNICを使いWindows8/Windows Server 2012以降のクライアントとWindows Storage Server 2012 R2の間では「NIC同士が直接対向NICのメモリー内容をアクセス」することが可能になっています。
これにより、CPUによるメモリー間コピー操作を大幅に削減でき、CPU資源の解放と通信性能の向上を果たします。
対向クライアントが旧バージョンの場合、Windows7/Windows Server 2008 R2世代であればSMB2.1、XP/2003であればSMB1.0と過去のプロトコルもサポートします。

OSの壁を越えつつあるSMB3.0

SMB3.0を語る上で忘れてはいけないトピックスとして、AppleのMac OS Xが独自のファイル共有プロトコルAFP(Apple Filing Protocol)からSMBに方針を転換したことがあります。

OS X 10.9(Mavericks)でSMB2.0に対応、AFPよりも優先の扱いをしていましたが、OS X 10.10(Yosemite)ではSMB3.0対応、デフォルトの接続方法となっています。Mac Pro(OS X 10.10)との10GbE接続(Thunderbolt2-10GbE変換ユニットSANLink2を併用)した環境で、4K 10bit ProRes 422(HQ)30p編集が支障なく行える事を確認済みです。再生ソフトウェアにより60pのNASからの再生実績があります。

SMB3.0を利用できるクライアントOSのバージョンと組み合わせることで、Windows Storage Server 2012 R2はWindows/Mac OS Xを両方共に高い次元でサポートすることが可能となっています。

ネットワーク経由SAN vs SMB3.0

FCと同様に、ネットワーク経路を用いた共有を行うSANミドルウェアもあります。これらはiSCSIともNAS共有とも異なるオリジナルのプロトコルをTCP/IP上に流すことで、機能を実現しています。
内部ではFC SANと同じSAN共有の調停機能を使っており、FC SANの一部としてネットワーク経路を使用できるメリットがあります。NAS機能が弱かったSMB1.0時代には魅力的な機能でしたが、SAN共有の調停機能がもたらすオーバヘッドにより、ストレージ側の性能特性をそのまま提供できないケースも見られました。

SMB3.0が稼動している現在、NAS共有の方がストレージ性能を引き出す点では優位に立っています。NASの内部性能特性を素直にネットワーク越しに引き出すことが可能になっています。

ニューテックCloudyⅢシリーズNAS

InterBEE 2014：2GB/s世代 CloudyⅡ Plus

デモでは10GbE-10GbE接続のクライアントで850MB/sを超えるI/Oを行っています。これは8G FCでの性能と同等であり、1GbE接続クライアント複数を十分にまかなえる内容となっています。「NASによるSANの置換え」提案は老朽化したSAN設備の更新提案を行うSI様各位に受け入れられ、「従来よりも高性能、かつ低メンテナンスコスト」を実現した導入実績へとつながりました。当モデルのバリエーションとして、内部帯域を4GB/sまで拡張した倍性能構成を導入されたユーザー様もあり、「映像製作にNASは使える」を超えた「NASにより映像製作を加速する」実績を残しています。

InterBEE 2015：4GB/s世代CloudyⅢ Plus

10GbE構成は大容量化へ進化

高性能モデルは非圧縮4K帯域へ

高性能製品ラインに目を向けると、CloudyⅢ Plusは単独ユニットでR：4GB/s、W：3.5GB/s弱の性能を発揮しています。
単独ユニットで確認できている性能を基準に考えた場合、4K 12bit 4：4：4 60pの映像信号レート(2.24GB/s)以上の性能を有していることになります。
ソースデータは映像ファイルとしてストレージ上に置かれますので、SDI信号のレートがそのままディスクとのI/Oレートにはなりません。従って映像用ストレージはSDI信号レートより高いI/O性能を持つ必要があります。映像分野でよく使われるDPX連番ファイルであると、ディスク装置とのI/Oは3GB/s弱の帯域が必要となりますが、CloudyⅢ Plusではこれもクリアしています。
InterBEE 2015ではCloudyⅢ PlusをベースにSI様向けアプライアンスベースとして構成したCloudyⅢ APを使い、非圧縮4K/60p映像の再生デモ行いました。3日間の会期中、フレーム落ちゼロを達成いたしました。

ネットワークでも4K映像を

今回得られた3.5～4GB/sのストレージ性能をネットワークと対比してみると、25/40Gbpsのネットワークとの組み合わせがバランス的に適当であると考えられます。4K映像をネットワーク上に流すことは技術的に可能な範囲に入っており、これを実証すべく、InterBEE 2015において当社はこのデモ構成展示も行いました。
ストレージ性能にネットワーク帯域とビデオ信号レートを重ねた図をご覧ください。ファイルシステム上に置かれるファイルI/Oはビデオ信号のデータレートよりも高くなる点を考慮しても4K 12bit 4：4：4 60pまでは十分に対応可能領域に入っています。

8K対応への可能性

前モデルでの実績、および日々行っている構成検討と実験の結果から、当社ではR：8GB/s、W：6.5GB/s程度まで(8K 10bit 4：2：2 60pおよび4K 12bit 4：4：4 120p相当をカバー)の拡張を確実視しています。HDDはSSDと異なり、Read/Writeの性能差が少ない性格と、時間経過に伴い性能低下することの無い性格を持っています。読んでも書いても同じレートを要求する映像製作のマーケットに向けて、当社は非圧縮8K対応製品をHDDで用意する予定です。
8K映像を扱う場合の帯域は56Gbps InfiniBand相当となります。現行のFC SANでは4系統を束ねなければなりません。1本のInfiniBandを使うことで、システム構成をシンプルに、16G FC4本相当の実用性能を期待することができます。さらにその先の帯域には100GbE SW、NIC製品がMellanox社により市場に投入されています。

NASによるSANの置換え

ストレージ性能への誤解

よく聞く話として、「外付けRAID装置を使っているがデータポートの規格どおりの性能が得られない」と言うものがあります。例えば2台のHDDを実装したUSB3.0(5Gbps≒625MB/s)やThunderbolt2(20Gbs≒2500MB/s)外付けRAIDを使う場合、ストライプ(RAID0)構成を取っていても最高で250MB/s程度のシーケンシャルアクセスしか得られないはずです。これは一般的SATA HDD単体性能を2倍にした性能に一致します。記憶装置はマジックではありません。HDDが少数しか実装されていなければ、また、正しくチューニングされていなければ、装置の潜在能力を引き出し、速くすることはできません。
これはFC SANや高速ネットワークを使うNASでも同じ事が言えます。

RAID装置に関する知識が豊富でないエンドユーザーのみならず、ストレージサプライヤでもこのような誤解をしているケースがよく見られます。「NASで映像編集を行うことはできない」「SSDを使わないと映像編集はできない」と断言する映像系SIやストレージサプライヤも見受けられます。これは正しい認識ではありません。
高速のI/Fであっても背後にあるストレージ部分の性能以上のパフォーマンスを発揮することはできません。高速のI/Fにその性能を十分に発揮させるには、負荷の性格を把握した上で、背後に置かれるストレージ部分がそれ以上の性能を持たせる必要があります。妥当な価格で十分な性能のストレージ装置を作れるかどうか、ストレージサプライヤの知識とスキルが問われます。

10GbEからInfiniBandまで：CloudyⅢ

前項で述べたようにニューテック製CloudyⅢシリーズは構成方法により10GbEから56G InfiniBandまでのネットワーク帯域を生かすことのできる幅広く、高い内部性能を持っています。CloudyⅢ 4U、CloudyⅢ Plusと高速ネットワークの組み合わせにより、4G/8G/16GのFC SANを置き換えることで、実用性能の向上とコスト削減を同時に狙うことが可能になります。

既存のFC SANシステムを新しいNASベースのシステムに置き換える当社提案は、新規FC SANを第一とした次善の策ではありません。NASの方が高い性能を持ち、NIC/SWと言った周辺デバイスも安価に揃えることができます。今日の優位性はNASにあります。

周辺装置の充実

SANをとりまく状況の項で、FC機材の選択肢が狭くなっている事を述べました。ネットワークでは逆に周辺装置の充実した情勢となっています。

例えば小型ネットワークSWとしてMellanox製のSX1012 SWは19″ラックマウント ハーフサイズの省スペース製品でありながら、10/40/56GbE12ポートの高速SWとして動作することができます。小規模のSAN構成を置き換える場合にちょうど良いポート数です。
さらに各ポートは4本の10GbEにブレークアウトすることができるので、「NAS側を40/56GbE」で太く、「クライアント側は10GbEx44本」と言う理想構成が可能です。他社のSWに無い自由度がSX1012を使った場合のメリットとなります。

NICも価格低下が進んでおり、RJ45形状の10GBase/T NICは少し前のサーバー用1GbE NICに近い価格で提供されています。コンパクトに高速NAS環境を作ろうとした場合、Netgear製XS712T、XS728Tと言った12から24ポートのRJ45 10GbE SWもリリースされており、FCに比べ柔軟な機材選択が可能になっています。

4/8G FC SANからNASへ

当社は既に「NASによるFC SANの置換え」について納入実績を積み上げており、ユーザーは従来以上の性能とコスト低減を両方達成しています。特に機材の保守ができなくなり、機材更新を行わざるを得ない4G FC世代の機材更新においては、「FC RAIDを更新してSANを継続」するよりも「10GbE NASで性能の向上、運用コストの低減」を狙う効果が顕著に現れます。性能的に8G FC SANの置換えも同等以上に構成できますので、既設SANシステムの更新案件全てが当社のターゲットとなっています。

FC SAN共有とWindows Storage ServerベースのNAS比較

まとめ

• FC対ネットワークのパワーバランスはこの10年で変化した
• FCは速度面の優位性を失い、現在ではネットワークが優位に立っている
• FC SAN向け機材のメーカー数は縮小している
• SAN File共有のためのミドルウェアメーカー数が減っている
• 高速ネットワーク機材は充実期を迎えている
• Windows Storage Server 2012 R2ではSMB3.0とRDMAが利用できる
• Mac OS X 10.10からSMB3.0対応になった
• NAS化するとSAN File共有のミドルウェアライセンス(維持費)は不要になる
• SAN技術者をシステムメンテナンスの為に確保し続ける必要はない
• 高速のNASにより、FC SANの置換えが可能になっている

ニューテックは「NASによるSANの置き換え」を提案いたします

(2016年1月掲載)