HPE Vertica Analytics Platformを採用し、30分を要していた集計処理を2秒で実現

alt_text

“HPE Verticaは、データベースの存在を意識させません。分析結果が即座に参照できるようになり、思考を妨げない、業務を停滞させない、という変化をリアルに体感しています”

− カブドットコム証券株式会社
営業本部 営業推進部 課長 兼
事務・システム本部 システム部 課長
伊藤 充淳 氏

 

カブドットコム証券が、高速データベース「HPE Vertica Analytics Platform」を採用してデータ分析基盤を導入した。株式発注基盤システム「RAIDEN™」から抽出したデータを対象に、定型・非定型を問わずあらゆる分析要求に対してリアルタイムで結果を導き出す「超高速ビッグデータ分析基盤」の誕生である。カブドットコム証券は、新商品・新サービスの開発、顧客行動分析に基づく営業活動やプロモーション、リスクマネジメントなど、全社を挙げたデータ指向の意思決定を強力に推進している。

業界

金融

目的

  • 営業、経営企画、事務部門を中心に全社が活用するデータ分析基盤の刷新および強化。多様な分析ニーズにリアルタイムで応え、データ指向の意思決定を支える「超高速ビッグデータ分析基盤」を構築する。

アプローチ

  • 大規模データ分析に特化したテクノロジーを採用し、シンプルで拡張が容易、かつ投資対効果に優れた分析基盤を目指す。変化し続ける分析ニーズに対して、チューニング不要で運用可能なことを重視。

ITの効果

  • 高速データベース「HPE Vertica Analytics Platform」を採用し、4億件のデータ集計において30分を要していた処理を2秒で実現
  • シンプルなデータベース構造により短期間(2カ月)での構築・移行を実現、システム運用におけるデータベース管理者の工数を50%削減
  • インデックスの概念がなくチューニング不要で高い分析パフォーマンスを発揮
  • スモールスタートとノード追加による無停止でのスケールアウトが可能に

ビジネスの効果

  • エンドユーザーにデータベースの存在を意識させない分析環境を実現
  • 意思決定プロセスのスピード化と「先手を打つ施策」が可能に
  • 30分単位での新規データロードにより最新情報に基づくデータ分析が可能に
  • 汎用のx86サーバーで分析基盤を構築し導入コストを大幅に抑制
  • SNSやオープンデータを取り込んだより高度な顧客行動分析も視野に
 

チャレンジ

金融とテクノロジーの融合、その最先端で

カブドットコム証券がフィンテック(金融のIT化)への取り組みを加速させている。大手ネット証券初の試みとして2012年に「kabu.com API」を開放。以後、パートナー企業が独自に開発したトレーディングツールから、株式発注基盤システム「RAIDEN™」に接続する取引は急速な伸びを示している。2016年1月には「kabu.com Fintech-Lab」を設立し、金融とテクノロジーが高度に融合する領域における先端研究・事業開発体制を強化した。常務執行役 事務・システム本部副本部長 兼 システム部長の阿部吉伸氏は次のように話す。

「カブドットコム証券は、いかにお客様の投資成績を高めるか、いかにお客様に貢献する情報インフラやツールを提供するかを常に考えながらサービスを拡充させてきました。私たちの歴史は、フィンテック=金融のIT化へのチャレンジの歴史そのものです。現在、三菱UFJフィナンシャル・グループにおけるカブドットコム証券は、ネット証券の事業会社としてだけでなく、フィンテックと情報テクノロジーのナレッジベースという役割も担っています」

金融商品ビジネスのさらなる成長、フィンテックによる革新的な金融サービスの創造に向けて―いま、カブドットコム証券が全社を挙げて推進しているのが「データ指向の意思決定」である。

「株式発注基盤システム『RAIDEN™』から抽出したデータを対象に、定型・非定型を問わずあらゆる分析要求に対してリアルタイムで結果を導き出す『超高速ビッグデータ分析基盤』を構築しました。新商品・新サービスの開発、顧客行動分析に基づく営業活動やプロモーション、リスクマネジメントなど、従来のシステムで数時間を要していた分析を目の前で数秒のうちに完了できます」(阿部常務)

カブドットコム証券が超高速ビッグデータ分析基盤の中核データベースとして採用したのは、「HPE Vertica Analytics Platform(以下、HPE Vertica)」である。

カブドットコム証券株式会社 常務執行役 事務・システム本部副本部長 兼 システム部長 阿部 吉伸 氏

カブドットコム証券株式会社
常務執行役
事務・システム本部副本部長 兼 システム部長
阿部 吉伸 氏

カブドットコム証券株式会社 営業本部 営業推進部 課長 兼 事務・システム本部 システム部 課長 伊藤 充淳 氏

カブドットコム証券株式会社
営業本部 営業推進部 課長 兼
事務・システム本部 システム部 課長
伊藤 充淳 氏

 

ソリューション

分析処理に特化したデータベース

「HPE Vertica」は、分析処理に特化した列指向のデータベースとして世界3,500社の導入実績を持つ。最大の特長は、圧倒的な分析パフォーマンスだ。一般的な行指向のリレーショナルデータベースが、検索時に対象となる全データを読み込む必要があるのに対し、HPE Verticaではピンポイントで必要なデータだけを読み込む。ムダな処理を排してディスクI/Oを最小限に抑え、高効率かつ高速な分析パフォーマンスを実現する。

「ビッグデータプロジェクトの最大の狙いは、欲しい情報を即座に可視化して『データ指向の意思決定』を加速させることです。私たちが求めているのは原因分析ではなく、次にどんな手をどのタイミングで打つか決断するための情報です。活用されずに捨てられていたデータも、組み合わせによっては新しい知見を生むかもしれません。様々な切り口から試行錯誤を重ねるためには、ユーザーを待たせないリアルタイム処理が不可欠でした」と営業本部 営業推進部 課長 兼 事務・システム本部 システム部 課長の伊藤充淳氏は話す。

カブドットコム証券にとって、株式発注基盤システムから得られる情報は収益の源泉とも言える。しかし、「従来の分析システムでは思うように欲しい情報が手に入らなかった」(伊藤氏)という。

「たとえば、『どの銘柄の株をどの顧客が買ったか』という定型分析は従来のシステムでも数分で行えましたが、『顧客が発注に使った端末』を知るには1日に1度の集計を待たなければなりませんでした。HPE Verticaによる超高速ビッグデータ分析基盤では、PCか、スマートフォンか、kabuステーション経由なのか即座に把握できます」(伊藤氏)

カブドットコム証券にHPE Verticaを提案した日本ヒューレット・パッカード(HPE)の諸橋渉氏は、分析パフォーマンスにおける優位性を次のように説明する。

「列指向アーキテクチャ、列方向での高効率な圧縮、最適なデータ配置の自動実行など―HPE Verticaは、いかに分析処理を高速化するか、そのためにいかにムダな処理をさせないか徹底的に考え抜かれた製品です。その結果、一般的なリレーショナルデータベース製品の最大1,000倍という桁違いの高速クエリを可能にしています」

カブドットコム証券が注目したのは分析パフォーマンスだけではなかった。HPE Verticaは、ビッグデータ分析基盤の導入に不可欠なアセスメント、テーブルとビューの設計、高速化のためのチューニング、といった作業負荷を大幅に低減することができる。

「HPE Verticaにはインデックスという概念がありません。『インデックスを設定する必要がない』のではなく、そもそも『インデックスがない』のです」(諸橋氏)

この「インデックスがない」というHPE Verticaの特長が、ビッグデータ分析基盤の設計・構築・運用すべてのフェーズで大きなメリットをもたらすことになる。それは、インメモリ機能を使える商用リレーショナルデータベースとの比較検証で明らかになったという。

カブドットコム証券株式会社 事務・システム本部 システム部 基盤技術課 阿部 浩二 氏

カブドットコム証券株式会社
事務・システム本部
システム部 基盤技術課
阿部 浩二 氏

日本ヒューレット・パッカード株式会社 テクノロジーコンサルティング事業統括 コンサルタント 諸橋 渉 氏

日本ヒューレット・パッカード株式会社
テクノロジーコンサルティング事業統括
コンサルタント
諸橋 渉 氏

alt_text

HPE Verticaの「プロジェクション」による自動最適化

一般的なリレーショナルデータベース製品では、高速化のためにインデックス(索引)を活用するのが常識だ。しかし、インデックスによる高速化は定型的な分析要求には効果を発揮するものの、アドホックな(非定型の)分析要求には応えられない。事務・システム本部 システム部 基盤技術課の阿部浩二氏は、「ユーザー部門と折衝を繰り返すほど、要件定義とチューニングの難しさを痛感した」と言う。

「当初、インメモリ機能を使える商用リレーショナルデータベースを検討し、インデックスによるチューニングを施すことで高速化できる見通しを得ていました。しかし、そこに至るには、ユーザー要件のヒアリングからテーブルの選択、インデックスの設計まで多大な工数を要したのです」

さらに、分析対象となるデータが日々増大し、ユーザーの分析要求が高度化していく中で性能を維持するには、ホットデータがメモリ上で処理されているかを常に監視したり、インデックスをメンテナンスし続けなければならないことも明らかになったという。

「これに対してHPE Verticaは、テーブルに手を加えることなくユーザーの多様な分析要求に応えるパフォーマンスを発揮します。さらに言うなら、メンテナンス不要で『変化し続ける分析要求』にも応えられることがわかりました。列指向というアーキテクチャの優位性とともに、私たちが注目したのは『プロジェクション』と呼ばれるHPE Vertica独自のテクノロジーです」(阿部浩二氏)

HPE Verticaのプロジェクションについて、HPEの諸橋氏は次のように解説する。

「テータの配置をあらかじめ最適化・圧縮してプロジェクションと呼ばれる仕組みで保持します。1つのプロジェクションで高い分析パフォーマンスが得られますが、特定の要求をさらに高速化するためにプロジェクションを追加作成することもできます」

阿部浩二氏は、「想定外の集計要求があったとしても、プロジェクション追加という手段を講じることができるのは、データベース管理者として非常に大きな安心です」と話す。

 

ベネフィット

データベースの存在を意識させない分析環境を実現

“常に変化する市況の中で、何がビジネスチャンスになるのか、どの施策をどのタイミングで行うのが最適か、どうリスクを回避すべきかまで、即座に判断できるようになるでしょう。これこそが、『データ指向の意思決定』の最大の意義と言えます”

カブドットコム証券株式会社 常務執行役 事務・システム本部副本部長 兼 システム部長 阿部 吉伸 氏

2015年12月に検討を開始し、パフォーマンス検証とシステム構築を経て、HPE Verticaによる超高速ビッグデータ分析基盤の活用が始まったのは2016年5月である。株式発注基盤システム「RAIDEN™」から30分単位で差分データがロードされ、ユーザーは常に最新情報をもとにデータ分析を行える環境が整備された。

「HPE Verticaは、データベースの存在を意識させません。分析結果が即座に参照できるようになり、思考を妨げない、業務を停滞させない、という変化をリアルに体感しています。これまでは、昼食前にクエリを実行して『1時間後には分析できているだろう』というのが当たり前でしたから、まさに劇的な変化が起こったわけです」と伊藤氏は笑顔を見せる。

阿部浩二氏も、「HPE Verticaは、ユーザーも私自身も驚くほどほど高い性能を発揮しています。長年データベースに携わってきた者としても、これほどの手応えを感じることはなかなかありません。しかも、HPE Verticaの環境は常に高い性能が自動的に維持され、ほとんど手放しで運用できています」と評価する。

また、HPE Verticaはソフトウェア製品として提供されるため、アプライアンス製品のようにハードウェアの制約がない。汎用的なx86サーバー上で稼働させ、データ量と性能要求に応じて無停止でスケールアウトできる。スモールスタートと柔軟な拡張が可能なことも注目すべき点であろう。

「HPE Verticaは、シンプルなデータ構造を維持したまま、テラバイトから数10ペタバイト規模にまでスケールできる優れた特長を備えています。HPE Verticaの源流であるC-Storeの誕生から10年経ちますが、これを超えるテクノロジーは現れていません」とHPEの諸橋氏は自信を示す。

事実、C-Storeは、2015年の「VLDB 10-Year Best Paper Award*」を受賞するなど技術的に高く評価されている。商用製品としてのHPE Verticaが世界中で大きな成功を収めていることも周知の通りだ。

*Very Large Data Bases(VLDB)Conferencesによる評価。http://www.vldb.org/2015/awards.html

「高速なSSDや高価なストレージ製品を導入することなく、x86サーバーだけで超高速ビッグデータ分析基盤を構築できたことは、投資対効果の視点でも大きな成果と言えるでしょう。しかも、HPE Verticaの設計と構築に要した期間はわずか4週間。インメモリデータベースの導入検討とデータ設計に長い期間と人的リソースを要したことを思えば、これも劇的な改善です。やや厳しい表現かもしれませんが、経営視点で言うなら、ユーザー部門とシステム部門がかみ合わない議論を繰り返したり、複雑で実運用に耐えないシステムの設計に時間を費やすことは、ビジネスチャンスを失っているに等しいですから」(阿部常務)

HPE Verticaによる超高速ビッグデータ分析基盤を活用し、カブドットコム証券は『データ指向の意思決定』をさらに加速させていくだろう。「トップダウンによるITの推進とボトムアップによる業務改善を、一体感をもって進めていくことが重要」と語る阿部常務は、次のように締めくくった。

「新商品・サービスの投入がどの程度有効だったか、シェアにどのような影響を与えたのか可視化できるようになり、お客様の毀損を低く抑えるためのリスク管理能力も着実に高まっています。今後は、常に変化する市況の中で、何がビジネスチャンスになるのか、どの施策をどのタイミングで行うのが最適か、どうリスクを回避すべきかまで、即座に判断できるようになるでしょう。これこそが、『データ指向の意思決定』の最大の意義と言えます。日本ヒューレット・パッカードには継続的なご支援を期待します」

会社概要

カブドットコム証券株式会社

URL:http://kabu.com/ 

カブドットコム証券株式会社
本件でご紹介のHPE製品・サービス

導入ソフトウェア

本ページの導入事例は、PDFで閲覧頂けます。  PDF (926KB)

本ページに記載されている情報は取材時におけるものであり、閲覧される時点で変更されている可能性があります。予めご了承下さい。