[ANT336] Building data mesh architectures on AWS（分析）
投稿日: 2022/12/09
AWSでデータアーキテクチャを設定するときに、データメッシュを設定する方法を紹介したセッションです。
エンタープライズでデータを共有することは常に難しいことです。
データはチームコネクションに基づいて即興的で勝手に共有されることがよくあります。
これにより、機密データを保護するリスクが高まります。
エンタープライズでデータを共有することは常に難しいことです。
データがチームコネクションに基づいて即興的かつ適切に共有されることが多いため、これにより機密データを保護するリスクが高まります。
誰もがデータを使用したいだけで、データを作成する役割を果たそうとしているわけではありません。
このような企業の困難を解決する方法として、データメッシュアーキテクチャが必要です。データメッシュでは
- データプラットフォームに存在するソースデータを使用し、それぞれを独立したドメインのように扱います。
- データドメインにポリシーを反映してデータガバナンスを向上させます。
- 一元化された data discovery メカニズムを明確に提供します。
- ドメイン所有者がデータユーザーにアクセスを指定できるように、セルフサービスデータ共有機能を提供します。
- ビジネス価値と使いやすさに基づいてデータプロダクトを測定し、投資することができます。
データメッシュには4つの重要な役割があります。
- Data owner(Data domain ownership) : データドメインを所有する
- Data engineer(Data as a product) : data mesh にデータを作成する
- Data steward(Federated computational governance): データがどのように共有されるかガバナンスを管理し、どのデータを使用すべきかを伝える
- Data Consumer (Self-serve sharing): データの共有と使用
最新のデータアーキテクチャには、以下の5つの部分があります。
- スケーラブルなデータレイクとウェアハウス
- 目的に合わせて作成されたデータサービス
- データ共有
- 統合ガバナンス
- データ発見
上記のデータメッシュアーキテクチャに示すように、複数のデータコンストラクタがデータを生成すると、統合管理ガバナンスを経て、各目的を持つデータコンシューマが利用できるように渡されます。
以下の表では、データメッシュの主な4つの役割（Data owner、Data engineer、Data steward、Data consumer）が何をするのかを説明します。
最近のデータアーキテクチャの動向であるData meshの概念が何であるか、どのように構成し、どの要素があるのかを整理することができるセッションでした。
