HPE Vertica を採用しリアルタイム分析システムを構築
圧倒的な速度とスケーラビリティによりサービス改善のための分析業務を支援

alt_text

「HPE Verticaは費用をかけずにスモールスタートでき、必要に応じて自由にスケールアウトできます。爆発的に増え続けるログデータを分析対象とする私たちにとって最適なアーキテクチャーでした」

− 株式会社ディー・エヌ・エー  システム本部分析基盤部部長
山田憲晋氏

 

モバイルサービスの進化を支える超高速分析基盤

株式会社ディー・エヌ・エー(DeNA)は、モバイルゲームなど自社サービスのログデータを対象とした超高速分析システムを構築した。6PBに達するHadoopクラスターに蓄積されたビッグデータのリアルタイム分析を可能にしたのは、データ分析用途に特化した「HPE Vertica Analytics Platform」である。カラム型データベースならではの高速性、データ増加に柔軟に対応できるスケールアウトアーキテクチャーによって、DeNAの分析業務を支援している。

業界

通信・メディア

目的

  • 多様化するサービスの継続的な改善のために、高速でより生産性の高い分析基盤を構築すること。ログデータに基づく「KPI分析」の高速化により日常的な分析業務を効率化する。また自由度の高い「アドホック分析」を可能にすることで、新サービス立ち上げ時に求められる試行錯誤的な仮説検証を支援する。

アプローチ

  • Hadoopクラスターに蓄積されたログデータを、中間集計処理を経て可視化していた従来の分析手順を見直す。スケールアウトアーキテクチャーを持つ「カラム型データベース」を分析専用システムとして採用し、KPI分析、アドホック分析を高速化するとともにデータ増に対する拡張性を強化する。

ITの効果

  • 分析専用システムとして「HPE Vertica Analytics Platform」を採用し膨大なログデータの超高速分析を実現
  • Hadoopクラスターに蓄積された6PBのデータ資産を有効活用できるオンプレミスの分析基盤を構築
  • HPE Verticaの無償版(Community Edition)によりスモールスタートを可能に
  • MPP(マッシブパラレルプロセッシング)アーキテクチャーによりデータ量の増加に対応するスケールアウトを実現
  • プロジェクション機能によって重要性の高いクエリーの高速化チューニングを可能に

ビジネスの効果

  • KPIレポート作成が数時間から数分に短縮されるなど分析業務を大幅に高速化
  • アドホック分析の結果がリアルタイムで可視化されることで試行錯誤での分析が可能に
  • 高速で利便性の高い分析基盤を利用して、アナリスト以外のスタッフも分析用途に活用可能に
 

チャレンジ

仮説検証に基づいてスピーディに進化するサービス

モバイルサービスの最先端領域を開拓し続けているDeNA。創業以来、同社の快進撃を支え続けているゲーム分野に加え、最近では女性をターゲットとしたキュレーションビジネスや、遺伝子検査をはじめとするヘルスケア分野にまでサービス範囲を拡張している。

「新規サービスを提供する上で重要な役割を果たしているのが、お客様のログ情報の分析です。サービス内で記録される膨大なログデータを元にサービスを改善し、高品質なサービスを作り上げているのです」と語るのは、DeNA システム本部 分析基盤部 部長の山田憲晋氏である。

DeNAの大規模分析基盤が構築されたのは2010年。大規模データの分散処理環境であるHadoopクラスターをいち早く導入し、ゲームユーザーのアクセスログ、行動ログなど数PBにも達するビッグデータを蓄積して分析する環境を整えた。基盤整備と合わせて組織も一新。サービス開発の第一線に専任アナリストを配し、ログデータの分析によって、ゲームやサービスの企画や開発を支援する体制を作り上げた。

山田氏は「アナリストが開発者と同じチームに属することで、実際のサービス改善に役立つ分析ができる」と新たな体制のメリットを説明する。

たとえば、ゲーム開発ではアナリストが企画段階から参加して開発者とともに重要評価指標(KPI)を設定する。リリース後はこのKPIに基づいてユーザーの反応を常にチェック。離脱率の増加など問題が発生するたびにその原因や改善策についてアナリストが仮説検証を重ね、その横で開発者がパラメーター等をチューニングしていく。アナリストと開発者がタッグを組み仮説検証と改善を繰り返すことで、ユーザー満足度を短期間に向上できるという。

DeNAのサービス進化を加速させてきた分析基盤だが、2012年には早くも次の機能強化に向けた検討に入っていた。

「第一のポイントは生産性の向上です。対象サービスが拡大する中で、アナリストがより多くのサービスをよりスピーディに分析できる環境が必要でした」(山田氏)

分析業務の生産性を大きく左右するのが「KPI分析」だ。従来は、新しいKPIの可視化ニーズが発生するたびに、Hadoopクラスター上で集計したデータをリレーショナルデータベースに格納しKPIレポートを作成しなければならず、これに時間と手間がかかっていたという。

「もうひとつのポイントは、仮説検証の自由度の向上です。新規サービスの分析では今までの知見が通用しません。試行錯誤的な仮説検証が自由に行える環境が必要でした」(山田氏)

「アドホック分析」は従来も提供されていたが、実行スピードに問題があった。結果が返ってくるまで数十分から数時間かかるため、試行錯誤的に利用するわけにはいかなかったのである。

「分析スピードがこれらを実現する鍵でした。今まで以上に高速な分析基盤が必要だったのです」(山田氏)

この高速な分析基盤として山田氏らが選択したのは、HPEソフトウェアが提供するカラム型データベースHPE Vertica Analytics Platform(以下、HPE Vertica)である。

株式会社ディー・エヌ・エー システム本部分析基盤部部長 山田憲晋氏

株式会社ディー・エヌ・エー
システム本部分析基盤部部長
山田憲晋氏

 

ソリューション

優れた拡張性を備えた超高速分析基盤

HPE Verticaの最大の特長は分析スピードの速さだ。その鍵は「列(カラム)指向のアーキテクチャー」にある。不要な列を読み込まないことで、ディスクI/Oやメモリー容量を大幅に削減。これにより圧倒的な高速処理を実現する。データ型が同じ列方向のデータは高効率で圧縮できるため、ディスク容量の削減にも威力を発揮。これらの特性は特にビッグデータ分野で注目され、Twitter等をはじめとした欧米系ソーシャルネットサービス企業での導入が急伸している製品だ。

「より高速な分析基盤を構築する上で、HPE Verticaの能力を活用したいと考えました。Hadoopクラスターとの組み合わせによる構築事例が多いことも大きな安心材料でした」と山田氏は、HPE Verticaに注目した理由を語る。

もうひとつの理由はスケールアウトを前提とした構成だ。HPE Verticaはマスターノードを持たない超並列処理(MPP)構成により、x86サーバーを並列接続するだけでリニアに性能を拡張できる。データ容量を対象にしたライセンス体系により、サーバー台数を増やしてもライセンスコストは変わらない。

「HPE Verticaは費用をかけずにスモールスタートでき、必要に応じて自由にスケールアウトできます。爆発的に増え続けるログデータを分析対象とする私たちにとって最適なアーキテクチャーでした」(山田氏)

Hadoopクラスターの高速化技術は進化の著しい分野で、SQL on Hadoopソリューションも登場している。これらもひと通り検討したが、処理スピードや拡張性、技術の成熟度という点でHPE Verticaには及ばなかったという。成熟した技術――これも山田氏がHPE Verticaに注目した大きな理由である。

「特に注目したのはHPE Vertica独自の『プロジェクション機能』です」(山田氏)

プロジェクションは、カラム型データベースの性能をより高める機能だ。クエリーの内容に合わせて、列の並びやデータ圧縮の方法をシステムが自動的に最適化することで、検索を高速化する。最適化の内容は自由に編集できるため、重要なクエリーについては、そのクエリーに特化した高速化チューニングが可能だ。

「SQLへの対応も重要なポイントですが、この点でもHPE Verticaは際立っていました。標準的なSQLに対応しているだけではなく、時系列の中で欠損したデータを補完する『タイムシリーズ関数』など分析業務の生産性向上に結びつく有用な機能が充実していたのです」(山田氏)

現実的に他の選択肢は考えられなかった。2013年5月、DeNAはHPE Verticaの採用に向けて実データを使った検証を開始した。

alt_text
 

ベネフィット

圧倒的なスピードで分析業務を変革

検証に用いられたHPE Verticaは、3ノード/1TBのCommunity Editionである。小規模な環境だったが、いままでの分析基盤との違いを体感するには十分だった。山田氏をはじめ、導入に携わった分析基盤部のエンジニアたちは、従来環境から10倍以上高速化された集計スピードに目を見張ったという。

「今までは集計の度に数分から数時間待っていたのが、同じクエリーの結果が即座に返ってくる。異次元の感覚でした」(山田氏)

検証が終了し、2013年11月、商用版による実運用が開始されたことで、このメリットはアナリストも実感するところとなる。

「高速分析の威力を肌で感じたことで、アナリストによるVerticaの利用が急増しました。当初はHadoopクラスターでサマライズした重要データだけをHPE Verticaに入れて運用する予定だったのですが、アナリストの要望に応えて対象データを拡大しています」(山田氏)

対象データを拡大したのは、新規サービスや新規ゲームである。サービスの立ち上げ期にはユーザーの行動に対するきめ細かな分析が必要になるため、すべての生ログを直接HPE Verticaに投入することにした。これにより生ログを活用した試行錯誤的なアドホック分析もリアルタイムに行えるようになったという。一方、膨大なログデータを蓄積している既存の大規模サービスについては、Hadoopクラスター上でいったん集計した後に必要データだけをHPE Verticaに送る方法を採った。

KPI分析もアドホック分析も、HPE Verticaの導入によって飛躍的に効率化された。

「KPI分析では、数十分から数時間かかっていたKPIレポート作成がわずか1分程度で作成可能になり、KPIダッシュボード構築業務にかかる時間が全体で1/6程度まで短縮されました。翌日までかかっていたアドホック分析も、チーム内で行われる開発者とのミーティングの最中にでも行えるようになりました。自由に試行錯誤しながら仮説検証を重ねることで、サービス改善のスピードアップに貢献しています」(山田氏)

アナリストの生産性向上のために、分析基盤部の技術者も力を尽くしている。例えば、アナリストの書いたクエリーが遅い場合は、DeNA社のエンジニアが対象のクエリーを高速化する為の「プロジェクション」を、データベースデザイナーと呼ばれる対話形式のツールを使い作成し、クエリーの高速化を実現している。分析業務のフロントエンドとなるBIツールも内製した。クエリーを瞬時に視覚化することで仮説検証が簡単に行えるこのツールによって、アナリストはもちろん、開発部門のエンジニアや企画メンバーも手軽にKPIレポートが作れるようになったという。

HPE Verticaでの分析業務が拡大する中、システムも順次拡張されている。商用版の利用をスタートした当初11TBだったクラスター容量は1年後に51TBに、クラスターを構成するサーバーも約20台に増えている。システムの拡張も、超並列処理(MPP)アーキテクチャーにより短期間のうちにスムーズに行われた。

「HPE Verticaは、分析業務の生産性向上を支える圧倒的なスピードと優れたスケーラビリティを提供してくれました。DeNAの分析業務はますます拡大し、進化していくでしょう。HPE Verticaがその中核を支え続けてくれることを期待しています」
山田氏

アナリストの直感だけでは見えないものを見る

HPE Verticaによる高速分析基盤の構築により、アナリストの分析業務の生産性は飛躍的に向上した。サービス改善のPDCAサイクルを高速に回せるようになったことで、DeNAのビジネスはさらなる競争力を獲得している。さらにこの超高速分析環境は、「分析業務のあり方を変革するポテンシャルがある」と山田氏は語る。

「いままでの分析業務は、データ量と分析時間を常に意識しなければなりませんでした。データを掘り下げる際も、業務効率を考えて時間をかけ過ぎない制約がありました。このような中で価値の高い分析結果を得るためには、アナリストの直感が欠かせませんでした。一方HPE Verticaが実現したのは、データ量も時間も考慮する必要のない圧倒的に高速な分析環境です。様々な切り口を自由に試行錯誤することで、直感だとわからないものが今後見えてくると思います。これが私たちのビジネスを大きく変えることになるかもしれません」(山田氏)

最後に山田氏に総括してもらおう。

「HPE Verticaは、分析業務の生産性向上を支える圧倒的なスピードと優れたスケーラビリティを提供してくれました。私たちにとっては初めての製品でしたが、HPEがしっかりしたサポート体制で支えてくれ、情報提供にもきめ細かく応えてくれたことで、スムーズに導入することができたと思います。DeNAの分析業務はますます拡大し、進化していくでしょう。HPE Verticaがその中核を支え続けてくれることを期待しています」(山田氏)

会社概要

株式会社ディー・エヌ・エー(DeNA)

URL:http://dena.com/jp/ 

alt_text
本件でご紹介のHPE製品・サービス

導入ソフトウェア

本ページの導入事例は、PDFで閲覧頂けます。  PDF (1.37MB)

本ページに記載されている情報は取材時におけるものであり、閲覧される時点で変更されている可能性があります。予めご了承下さい。