Striimの主な機能

Striimのデータ処理の流れと主な機能

1. Collect：多様なデータソースから継続的なデータ収集

Striimはデータベース、ログ・ファイル、IoTデバイス、メッセージ・キューなどのさまざまなソースから「リアルタイム」かつ「継続」してデータを取得することができます。

• ファイル：対象ファイルを監視し出力データを継続的に取得
• データベース：CDC(Change Data Capture)機能によりデータベースログからデータを継続的に取得
• 様々な機器：TCP/UDP/HTTP/MQTTなどネットワーク経由でデータを継続的に取得
• メッセージング：JMS/AMQP/Kafka/Apache Flume など様々なメッセージング基盤から継続的に取得

※Striimがサポートするデータソースの一覧はこちらをご覧ください

また、ユーザのJavaアプリケーションは、Striimが提供する"Event Publishing API"を使用し、Striimに直接ストリーミングデータを配信することができます。

ページ先頭に戻る ▲

2. Process：ストリーミングデータの変換と情報の強化

後続のデータ分析処理を容易にするために、収集したストリーミングデータに前処理を施します。Striimは以下の様なデータ処理機能を備えています。

• フィルタリング：必要なデータのみ抽出
• データ変換：データの一部または全体を変換
• 集約：平均値や件数など集約した値を得る
• 情報の強化（Enrich）：静的データを参照しデータに付加（例：マスタを参照し顧客情報を取得し付加）

Striimは、TQL（Tungsten Query Language）というSQLに似た構文の「継続クエリー」言語を備えており、ユーザはストリーミングデータ毎に適用するデータ処理をTQLで記述します。定義されたクエリーは各サーバー上でインメモリで実行され、各データ処理はミリ秒内で高速に実行されます。Striimは、静的／動的データをインメモリで保持する「コンテキスト・キャッシュ」を各ノード上に備えているため、分散クラスタを流れるデータ・ストリームに対し性能を低下させることなく情報の強化や変換を行なうことができます。

ページ先頭に戻る ▲

3. Analyze：ストリーミングデータの分析

ユーザは、前処理が済んだストリーミングデータをインメモリで分析し、リアルタイムでイベント発生の検知やビジネスに関する洞察（Insight）を得る事が出来ます。ストリーミングデータの分析処理は、データの前処理と同様にTQLで記述されたクエリとして定義されます。Striimは、複数のソースを結合し、空間および時間ベースの相関、複雑な条件付きパターン・マッチング、予測分析、外れ値検出、その他の統計演算を用いて分析処理を行うことができます。ユーザーは、リアルタイムのストリーミング・データだけでなく、保存された結果データに対してもTQLのクエリーを実行し分析することができます。
さらにユーザはJavaベースの独自関数を作成しStriimにインポートすることで分析機能を容易に拡張することができます。

ページ先頭に戻る ▲

4. Visualizatoin：データの可視化と通知

Striimはリアルタイムの電子メール、テキスト、およびWebアラートを発行して、エンドユーザーにイベントの発生を通知することができます。
また、ユーザが簡単に作成/変更できるダッシュボードを用い、リアルタイムのプッシュベースのデータ可視化機能を提供します。ダッシュボードには、棒／線／円グラフ、地図、ゲージ、ヒートマップなど様々な部品が用意されており、リアルタイムメトリクスの監視や分析作業を容易にする優れたデータ可視化機能を提供します。 さらに、Striimアプリケーションは、重要イベント発生時の対応アクションを実行するためのワークフローを起動できる機能を備えています。

ページ先頭に戻る ▲

5. Deliver：分析結果のリアルタイム配信

Striimプラットフォームは、前処理済みデータや分析結果データをさまざまなターゲットにリアルタイムで継続的に配信することができます。
Striimは多様なターゲットをサポートしているため、企業の既存の分析ワークフローやトランザクションシステムと容易にデータ連携することができます。

• Hadoop環境 (HBase、Hive、HDFS)、MapR DBとMapR Streams、Cloudera、Hortonworks、NoSQLデータベースなど)
• Microsoft Azure、Amazon Redshift、S3、Google BigQuery、Google PubSubなどのクラウド環境
• Kafka、JMSなどのメッセージングシステム
• エンタープライズ・データベースとデータ・ウェアハウス
• デリミタ付きファイル、JSON、XML、AVRO、テンプレートベースの形式

※Striimがサポートするターゲットの一覧はこちらをご覧ください

ページ先頭に戻る ▲

統合開発ツールによる容易なアプリケーション開発

Striimは使い易いWebベースの開発用GUIを備えています。ユーザはWebブラウザ上でストリーム分析アプリケーションとダッシュボード画面の設計を行うことができます。

Dashboard

データ可視化用ダッシュボード画面を設計するWebベースGUIツール。
散布図、マップ、各種グラフ、表などの各種部品をドラッグアンドドロップで配置し画面を作成します。

Flow Designer

アプリケーションの処理フローを設計・定義するWebベースのGUIツール。
Flow Designerは、アプリケーションのストリーミングデータの取得から結果処理までの一連の処理フローをGUIパーツのドラッグ＆ドロップベースで設計することができます。

TQL (Tungsten Query Language)

Flow Designer上の各コンポーネントの処理内容を記述するイベント処理専用言語。
SQLに類似した構文で、入出力やデータ処理条件の定義やユーザ作成のJavaクラス呼出しなど、ストリーミングデータの前処理・分析ロジックを容易に記述することができます

ページ先頭に戻る ▲

---