データドリブン経営を支える新たな選択肢「データレイクハウス」｜DWHとデータレイクの融合がもたらす効果とは

1. 高まるデータドリブン経営の必要性

早速、「データレイクハウス」の説明に入りたいのですが、その前に「データドリブン経営」の必要性が高まっている理由について確認しておきます。

現代は「VUCA」の時代とされ、企業を取り巻くあらゆる事象や物事が複雑に絡まり合い、ビジネス環境の「変動性（Volatility）」「不確実性（Uncertainty）」「複雑性（Complexity）」「曖昧性（Ambiguity）」が高まっています。

実際、市場ニーズの変化や多様化は激しく、人気商品の売り上げがいきなり落ち始めるようなことは、いつでも起こりえます。

加えて、テクノロジーの進化・発展のスピードは速く、テクノロジーを駆使した新たなビジネスモデルによって、既存の産業構造が破壊的なイノベーションの渦に巻き込まれる可能性も大きくなっています。また、企業のバリューチェーンがグローバルに広がる中、各国・各地域の地政学的リスクが事業に与える影響も増大しています。

そんなVUCA時代において、人の経験や勘だけを頼りに数々の経営判断を下すことには限界があり、データというファクト（事実）を根拠に意思決定の精度やスピードを高めていくことが求められています。

例えば、どの事業に力を注ぎ、投資を拡大させるかを決定するとしましょう。この場合、意思決定に経営者としての勘や意向を反映させることは重要ですが、それと併せて、市場の動向や各事業の「稼ぐ力」をデータによって分析し、各事業の将来性を慎重に見定めることも必要とされます。

また、不測の事態に対応するうえでも、その事態が事業に与える影響の強さや影響の範囲をデータによって速やかに分析・特定できれば、意思決定と施策の精度、的確性を高めることが可能になります。さらに、事業を支える業務のフローやプロセスのデータを詳細に分析することで、ボトルネックの特定と問題の解決、改善を進めやすくなります。

2. データドリブン経営を阻むもの

データドリブン経営を実践するには、多種多様で更新のスピードが速く、かつ規模が大きな「ビッグデータ」を分析、活用するためのデータ基盤が必要になります。

そのデータ基盤を構築するためのテクノロジーはかねてより存在し、それらの進化によってデータドリブン経営の実践内容も高度化しつつあります。

ただし残念ながら、日本企業においては、データの重要性は深く認識されつつも、米国などに比べてデータを分析・活用するための環境整備が遅れています（図1）。したがって、データドリブン経営の実践に向けては、データ基盤の整備が急務といえるでしょう。

図1：データ環境の整備状況、日本と米国の比較
出典：独立行政法人 情報処理推進機構（IPA）「デジタルトランスフォーメーションのための企業のデジタル基盤について／経済産業省『第3回 企業価値向上に向けたデジタル・ガバナンス検討会資料』」（2024年7月発行）を基に作成

3. DWHとデータレイク～データドリブン経営を支える2つの基盤

先に触れたとおり、データドリブン経営を実現するには、ビッグデータの分析・活用を可能にするデータ基盤が必要になります。そのためのテクノロジーとして一般的に使われてきた仕組みは大きく2つあります。1つは「データウェアハウス（DWH）」であり、もう1つは「データレイク」です。

3-1. DWH

DWHは、ビジネス活動を通じて日々生まれ、更新されていく販売、在庫、生産、物流、会計、人事、顧客のデータを統合し、一元管理するための基盤です。DWHで収集されるデータは、主として「会計」「販売管理」「在庫管理」「生産管理」「物流管理」「顧客情報管理」「POS（Point of Sales）システム」といった業務システムに保持されています。

DWHは、これらのシステム（＝データソース）からデータを収集して大量に蓄積し、一元的に、かつ時系列で管理できるよう設計されています。DWH製品の多くは、BIツールからのリクエストを受けて、データの抽出、集計、多面的な分析などを高速に処理することを可能にしています。

DWHのデータソースとなる業務システムは、当該業務を担う各部署で使用されるものであり、業務ごとに異なるベンダーのシステム、あるいはクラウドサービス（SaaS製品）が使われていることがあります。また、複数の事業・拠点を展開する企業では、事業部ごと、拠点ごとに異なるシステムが使われていることも珍しくありません。そのため、各システムのデータがシステム内に閉じた「サイロ」の状態になり、システムの垣根を超えたデータの活用が困難になることがよく起こります。しかも、業務システム内のデータベースは頻繁にデータの出し入れが行われるため、分析用途にそれを直接使うのは困難です。

こうしたことから、企業内のさまざまな業務システムのデータをDWHに集めて一元管理し、分析用に使うという手法が普及してきたわけです。

3-2. データレイク

上述したとおり、DWHは基本的に業務システムのデータを収集・統合・管理するための仕組みです。ゆえに、DWHに保管するデータは、主として業務システムのデータベースで扱われる「構造化データ」（表形式、あるいはデータベーステーブル形式のデータ）となります。それに対して「データレイク」は、構造化データのみならず、文字（テキスト）、文書（ドキュメント）、音声、画像、映像といった「非構造化データ」や、XMLデータなどの「半構造化データ」など、あらゆるタイプのデータを大量に保管し、一元管理するための仕組みです（図2）。

図2：データ基盤のテクノロジー別の特徴
出典：独立行政法人 情報処理推進機構（IPA）「DX白書2023 第5部 DX実現に向けたITシステム開発手法と技術」（2023年3月16日発行）の資料を基に作成

図2からもわかるとおり、DWHは、用途が明確な加工済みのデータを保管し、さまざまな角度から集計・分析するための基盤です。それに対し、データレイクは、用途が未確定なものを含む多種多様な生データを保管し、ユーザーが各自の目的に応じて自由に取り出して分析・活用できるようにする基盤です。

この基盤へのニーズが拡大した背景には、IoTソリューションが普及したことや、生活者・顧客の行動、ニーズをデータでとらえようとする取り組みが活発化し、企業が分析・活用の対象とするデータが多様化した点が挙げられます。その多様化の傾向は、総務省による2020年の調べでも顕著に見られていました（図3）。こうした変化が、データレイクの普及を後押ししてきたといえます。

図3：企業が分析に活用しているデータの種類
出典：総務省「令和2年版 情報通信白書」（2020年3月発行）の資料を基に作成

4. DWHとデータレイクのネック

普及が進むDWHとデータレイクですが、どちらも万能型のソリューションではなく、それぞれにネックもあります。

4-1. DWHのネック

例えば、DWHは、構造化データを扱うデータベースとして設計されています。DWH製品の中には非構造化データを扱えるものもありますが、それでも非構造化データの量が多くなると、パフォーマンスが低下しがちです。

また、DWHをデータドリブン経営の基盤として有効に機能させるうえでは、データの分析・活用の目的をあらかじめ明確にしたうえで、全体を設計しなければなりません。言い換えれば、DWHによって経営判断の精度や的確性、スピードをアップさせるには、どのようなデータをどう見たいのかを定めたうえで、目的に沿った分析・活用が行えるようにDWH環境を設計・構築しなければならないわけです。

そのためには、目的に沿って分析の対象となるデータソース（基幹システム）をしっかりと選び、それらのソースとDWHとを適切な「ETL（Extract：抽出、Transform：加工・変換、Load：格納）」処理を通じて連携させなければなりません。

このようなデータの処理（前処理）やDWHの設計を適正化するには、データベースやデータの扱い、そしてデータ分析に関する専門的なスキル、知識が要求されます。したがって、それらのスキル、知識を持った人材が社内にいない場合、そうした人材をどう確保するかという問題を解決しなければならなくなります。

4-2. データレイクのネック

一方、データレイクの場合、あらゆるタイプの生データをそのまま格納できるので、DWHのようなデータの前処理は不要です。

その反面、データが無秩序にどんどん溜まっていくリスクがあり、データの整理・管理が不十分であると、どのデータが最新なのかがわからなくなったり、必要なデータを見つけ出すのが困難になったりします。また、データレイク内のデータは生データであるがゆえに、品質に問題があるデータが混在してしまうことも珍しくありません。特定の分析目的の下でデータレイク内の生データを使おうとすると、データの加工・形成に多くの手間や高度なスキルを要します。加えて、データレイクの場合、多種多様なデータがどんどん増えていくために、データガバナンスが利かせにくく、個々のデータへのアクセス制御などが複雑になるリスクもあります。

5. データ基盤の新たな選択肢「データレイクハウス」とは

上で触れたようなDWHとデータレイクのネックを補うために、DWHとデータレイクをともに導入し、目的に応じて使い分けるという考え方もあります。

実際、構造化データの分析用にはDWHを使い、非構造化データの活用を促進するためにデータレイクを使うといったケースはよくあります。

ただし、そうした場合、データ分析・活用のための基盤が2つできることになり、基盤運用の手間とコスト、煩雑性は増大します。

とりわけ、データレイクの場合、レイク内のデータを特定の分析目的のために使おうとすると、さまざまなツールを組み合わせて専用のシステムを作らねばならず、それがデータやツールのサイロ化を引き起こし、運用管理の人員の業務負荷を増大させてしまうことがあります。その点でも、DWHとデータレイクの基盤を個別の基盤として併存させることは良い考えとはいえないわけです。

こうした課題を背景に、新たな選択肢として注目を集めているのが、DWHとデータレイクの機能を併せ持つ「データレイクハウス」です。データレイクハウスは、データレイクと同じく多種多様なデータを大量かつ簡単に取り込めるのと同時に、DWHのように特定の目的に沿ったデータの分析を高速に実行できる基盤です。言い換えれば、データレイクの柔軟性、経済性、スケーラビリティとDWHのデータ処理・データ管理の能力をすべて備えた仕組みがデータレイクハウスであるといえ、製品の中にはSQLデータベースが持つACID（*1）トランザクションをサポートしているものもあります。

*1 ACID：トランザクション処理におけるデータの整合性を担保するために必要不可欠な4つの特性「Atomicity（原子性）」「Consistency（一貫性）」「Isolation（独立性）」「Durability（永続性）」を意味する

6. エージェント型AIの活用に欠かせないデータレイクハウス

データレイクハウスへの注目が高まっている背景には、データドリブン経営の要求だけでなく、AIの急速な進化があります。とりわけ2025年以降、企業のデータ活用における最大のトレンドとなっているのが、自律的に判断し業務プロセスを完結させる「エージェント型AI」です。その基盤として、データレイクハウスの重要性が一段と増しています。

エージェント型AIは複数のデータソースを横断的に参照しながら、ワークフロー全体を自動的に遂行します。そしてそのためには、高品質かつ多様な種類・構造のデータにリアルタイムでアクセスできる環境が不可欠です。この要件に応えられる基盤こそが、構造化データの高速な分析処理と、あらゆるタイプのデータの柔軟な格納・管理を両立するデータレイクハウスです。

それでは、エージェント型AIの活用を見据えたデータ基盤に求められる要件を確認していきましょう。

6-1. データガバナンスの強化

エージェント型AIが自律的にデータへアクセスし、意思決定に活用するためには、「どのデータに誰が（または何が）アクセスできるのか」を厳密に制御する仕組みが不可欠です。データレイクハウスでは、メタデータ管理やアクセス制御、データリネージ（データの来歴追跡）を統合的に管理するカタログ機能が進化しており、エージェント型AIの安全な運用を下支えできます。

6-2. リアルタイム処理への対応

エージェント型AIが即座にデータを取得・分析して行動に移すには、バッチ処理に加えてストリーミングデータのリアルタイム処理が求められます。最新のデータレイクハウスは、バッチデータとストリーミングデータの双方を単一基盤上で扱えるよう設計が進んでいます。

6-3. セマンティックレイヤーの整備

エージェント型AIがデータの「意味」を正しく理解して活用するには、ビジネス上の定義や文脈をデータに付与する「セマンティックレイヤー」の整備が重要です。これにより、エージェント型AIが「売上」や「顧客」といったビジネス用語を人間と同じ定義で解釈し、的確な分析と判断を行えるようになります。

6-4. MCPへの対応

MCP（Model Context Protocol）は、AIがさまざまなデータソースやツールへスムーズに接続することを目的に作られたプロトコルで、2025年以降、急速に普及が進んでいます。MCP対応はもはや必須要件となりつつあり、データレイクハウスにおいてもMCPを介したエージェント型AIとのシームレスな連携が進んでいます。

データドリブン経営の必要性は、今後ますます高まっていくでしょう。そして、AIの進化によって、その実践内容は「人間がデータを見て判断する」段階から、「エージェント型AIがデータを自律的に分析・活用し、人間の意思決定をサポートする」段階へと進化していくと考えられます。

こうした変化に対応するためには、多種多様なデータを一元的に管理し、高速な分析処理とAIワークロードの双方を支えられるデータ基盤が不可欠です。データレイクハウスは、DWHとデータレイクの長所を融合させた仕組みとして登場しましたが、今やAI時代のデータ基盤としても、その活躍の場を大きく広げつつあります。データドリブン経営の高度化を目指す企業にとって、データレイクハウスは今後ますます有力な選択肢となっていくでしょう。