Qlik Cloud Data ServicesとHybrid Data Delivery Summary

Qlikが目指しているのは、企業全体でのデータの取り扱いを容易にする一連のクラウドサービスを提供することです。Qlik Cloud Data Servicesは、Qlikが提供するEiPasS(Enterprise Integration Platform as a Service)の包括的な名称です。QlikのEiPaaSはQlik Cloudからアクセスされ、CatalogやQlik Cloud Analyticsなどの基盤となるサービスの多くを使用しています。

Hybrid Data Deliveryは、オンプレミスのソースシステムからQlik Cloudにニアリアルタイムでデータを複製するように設計された、Qlik Cloud Data Servicesの最初のサービスです。このサービスは、オンプレミスのデータを自動的にテナントに取り込み、データをカタログ化し、ジョブスケジュールやスクリプトを必要とせずに、Qlik アナリティクスですぐに利用できるQVDファイル形式に変換します。さらに、これらのQVDファイルは、ソースデータが変更されるたびに、手動操作なしに自動的かつ継続的に更新されます。文字通り動的に更新されるファイルですので、私たちはこれをActiveQVDと呼んでいます。その結果、お客様の分析アプリケーションは、必要なときにいつでもアクションとインサイト取得のための最新のデータを得ることができます。

Hybrid Data Deliveryのアーキテクチャ

この新サービスは、市場をリードする高性能な変更データキャプチャ技術(CDC技術)を、Qlik Cloudで実行される多数の新しいコンポーネントとともに最大限活用していると言えます。Qlik Cloudでデータパイプラインを定義し、リモートで配信タスクを開始すると、データは自動的かつ継続的にQVD形式でQlikテナントに配信されます。実行中のインジェストパイプラインの定型表現を以下に示します。

※オンプレミスのデータが更新→データの変更を検知→データの変更分をCloudに’Land’→Active QVDが変更を踏まえて更新→分析アプリで最新データを利用

もう少し深く見てみましょう。下の図は、新サービスの主要なアーキテクチャ要素を表しています。オンプレミスのデータソースは図の一番下にあります:データベース、メインフレーム、エンタープライズアプリケーションなどです。そして、左下にはQlik ReplicateとQlik Enterprise Managerがインストールされたサーバーがあります。Qlik Replicateサーバーはデータソースと「会話」し、エンタープライズマネージャーはQlik CloudとQlik Replicateの間のコミュニケーションを担います。右上の大きなグレーのボックスがQlik Cloudを表し、その中に2つの白いボックスがあります。1つは今回リリースされた新しいデータサービスを表し、もう1つは分析アプリを表しています。左上のボックス(Landing Zone)は、生の変更データが一時的に「格納」されるAWS S3バケットなどの外部クラウドストアを表しています。ボックス間をつなぐ実線はデータとメタデータの流れを、破線は制御の流れを表しています。

注:将来的なビジョンでは、現在のQlik ReplicateとEnterprise Managerの部分の必要性を見直し、「ヘッドレス」なデータゲートウェイ技術に置き換えることです。ゲートウェイはデータブローカーとしてのみ機能し、すべてのコマンドとコントロールはQlik Cloudのユーザーインターフェイスで行えるようになる計画です。

上の図に戻ります。データは時計回りに流れ、Qlik CloudではLanding Assetと呼ばれる新しいコンポーネントから始まります。これは、変更データをS3バケットにランディングする、事前に定義されたオンプレミスのQlik Replicateタスクに相互に関連付いています。現在、データサービスでは、図の(1)のタスクをリモートで開始・停止することしかできません。タスクが開始されると、ソースデータベースに変更が発生するたびに、データがランディングゾーンにレプリケートされます(2)。

(3)は、Storage Assetと呼ばれる別の新しいQlik Cloudコンポーネントに流れ込むデータを表しています。Storage Assetは、AWS S3バケットからデータを継続的に取得し、変更データをQVD形式に変換し、取得したテーブルをカタログ化し、その結果を保存する役割を担っているため、多くのステップを実行します。現在、QVDファイルの保存方法には2つの選択肢があります。

  • Qlik Cloud内でQlikがQVDを管理する   
  • 顧客管理下のAWS S3バケット内で管理する

注: Storage Assetの同期プロセスは継続的に実行されますが、変更データパーティションが閉じられた後にマイクロバッチで QVD に変更を適用しています。マイクロバッチの頻度は、Qlik Replicateタスク内で設定する「configured interval」で決定されます。

QVDは継続的にデータが更新されているので、Active QVDと呼ばれます。Storage AssetがActive QVDを作成してカタログ化すると、分析アプリケーションで利用できるようになります。最終的には、分析アプリケーション側も自動的に更新されるようにするのが目標です。

少し複雑に聞こえるかもしれませんが、このソリューションを実際に見ていただくのが一番簡単だと思います。こちらの概要動画を確認ください。

Qlik DataTransferとHybrid Data Deliveryの違いは?

Qlik Sense SaaSにデータをロードする様々な方法を下の図にまとめてみました。

Qlik DataTransferとHybrid Data Deliveryの利用目的は、表面的には非常に似ていますが、ユースケースやスコープは全く異なります。Qlik DataTransferは、個人がQlik Sense SaaSへのデータインポートをスケジュールするのに適したユーティリティです。しかし、Hybrid Data Deliveryは企業向けに設計されています。Hybrid Data Deliveryの目的は、大量のオンプレミスデータをQlik Cloudにインポートできる企業規模のデータ移動ソリューションを提供することであり、将来的にはSnowflakeやMicrosoft Azure Synapseのような他の一般的なクラウドプラットフォームにデータをストリーミングする計画です。

Qlik Data Integrationはどうなるのか?

次なる疑問は「Qlik Data Integrationはどうなるのか?」。まず第一に、Qlik Data Integrationは無くなりません。私たちは、既存のサービスを補完するために新しいクラウドサービスを追加しています。私たちのビジョンは、Qlikがホストし、管理するEiPaaS(Enterprise Integration Platform as a Service)を提供することです。これにより、バッチ、ストリーミング、CDC、ELT、ETL、データサービス(ハイブリッド・データ・デリバリー、トランスフォーメーション、アプリケーション・オートメーション、データ・クオリティー)など、すべての統合デザイン・パターンに対して単一のエクスペリエンスを提供し、分析洞察力を高めることができます。

本日より、Qlik Sense Enterprise SaaSをご利用のお客様は、テナントのメニューに新しい「Data Services」アイコンが表示され、新しいQlik Cloud Data Servicesホーム(下記)に移動します。ここでは、新しいユーザ・インタフェースの探索、スタートアップ・ビデオの視聴、ドキュメントの閲覧が可能です。

最後に

多くの企業では、過去の企業インフラやアプリケーションからデータを取り込むことに苦労しており、情報が不足しています。Qlik Cloud Data Servicesの一部である新しいHybrid Data Deliveryは、オンプレミスの企業データを自動的かつ継続的にほぼリアルタイムで、ビジネスに不可欠なQlik分析アプリケーションに供給することで、このギャップを埋めることができます。

※本記事は、Qlik Product Innovation Blogの Under the Hood of Qlik Cloud Data Services and Hybrid Data Delivery を参考に日本語化したものです。