パケットキャプチャを支える高速データ書き込み技術

SYNESIS

 

パケットキャプチャを支える高速データ書き込み技術

ここ30年あまりでイーサネットは目覚ましい進化を遂げてきました。転送速度は10M、100M、1G、10G、100Gと指数関数的に増加し、ビジネスにおける利用シーンだけをとっても、多岐にわたって活用されています。それに伴い、パケットキャプチャも高速回線・大容量が求められるようになっています。ここでは、「高速に大容量なデータを書き込む技術」について説明します。

■外部記憶装置の特性と課題

外部記憶装置の多くは、時間的に書き込み性能が変化し、長期間安定した高い書き込み性能を実現できないという問題があります。
図1のグラフは、SSDの書き込み性能テストを行った際のデータです。横軸が時間(秒)、縦軸が書き込み性能(MB/s)を示しています。コンピュータ装置における処理負荷が変動しない状態で、一定速度で発生するデータをコンピュータ装置からSSDに書き込み続け、書き込み性能(MB/s)の時間変化を計測しました。この結果からわかるように長時間連続で書き込みを行うと、性能はばらつき、一定の割合で極端に低下する現象が見られます。従来の技術では、高速にかつ長時間に渡って取りこぼしなく外部記憶装置にデータを書き込むことは困難であると言えます。

■解決策

従来、このような性能低下の解決するためには、アクセス負荷管理装置などの専用のハードウェアを必要とし、実現するためには多大な時間とコストが必要でした。しかしながら、以下二つの処理を同時に行うことにより、専用装置を用いなくても、性能低下の問題を解決できることがわかりました。これにより、安定した高い書き込み性能を実現しています。

  1. 並列処理
    複数の外部記憶装置を用いて、個々のストレージ1)毎に書き込み処理を並列化
  2. ロードバランス
    ストレージで書き込み性能が低下した場合、次の書き込みデータ2)を書き込み性能が高いストレージへ割り振ること

書き込みプロセス自体は、高速化をはかるために非同期的に処理をしています。ただし、非同期で処理する場合、いつ書き込まれたかを書き込みプロセスの中では判断できません。そこで、を書き込み処理とは別に独立して設け、書き込み処理中の性能を管理しています。

1)外部記憶装置単体、もしくは複数をRAID技術などでグルーピングした仮想的な外部記憶装置
2)保存対象のデータを特定のサイズごとに分割したもの

■パケットキャプチャ/解析システム「Synesis」への適用

この書き込み高速化の仕組みは、汎用的なハードウェア、OSで利用できます。自社開発製品である大容量パケットキャプチャ/解析システム「Synesis」は、100Gbpsワイヤースピードのパケットをすべてキャプチャすることが可能です。ネットワークカードで認識したパケットをストレージに書き込む際に本技術が使われています。ネットワークの間欠的な障害の状況を補足するためには、安定した書き込みが重要となるからです。

本技術は、「データ書き込み装置及び方法」としての特許を取得しました。IoTの普及によるネットワークに接続されるデバイスの増大、ネットワーク上で生成される膨大なデータを利用するビックデータ解析の進展など、さらにネットワークは高速・大容量になることが想定されます。今後もICTの変化に追随できるよう、常に将来を見据えた開発をおこなってまいります。

製品の詳細については、東陽テクニカ情報通信ページを参照してください。