[ANT329] Turn data to insights in seconds with secure and reliable Amazon Redshift（分析）
投稿日: 2022/12/09
セキュリティと依存関係を考慮して、Amazon Redshiftを活用する方法の説明とケースを紹介するChalk Talk形式のセッションでした。
最新のデータアーキテクチャは以下のような特徴を持っています。
- スケーラブルなデータレイク
- 目的で作成されたデータサービス
- スムーズに進むデータの移動
- 統合ガバナンス
- 高い性能とコスト効率
Amazon Redshift を活用してさまざまな目的のデータを分析し、以下のデータサービスと連携してデータを分析できます。
- オペレーショナルデータベース
- 3rd party データ用の AWS Data Exchange
- ストリーミングデータサービス
- BI/Analyticsアプリケーション
- Amazon S3 datalake/Files
- ML and analyticsサービス
特別な費用なしでRedshift自体に固有のセキュリティ/規制機能は、大きく以下のように区別することができます。
- Authentication (認証)
- アクセス制御(アクセス制限)
- Audit(検査)
- Encryption(暗号化)
Amazon Redshift では、ロールベースのアクセス制御が可能です。
各ユーザーに定義された役割を付与し、各役割に特権を割り当てます。
役割ベースのアクセス制御を反映するときは、次の点を考慮することをお勧めします。
- データベース permission 管理の簡素化
- よく整ったユーザー permission
- 異なるレベルのアドミンユーザーのためのセキュリティの向上
Row-level security (行ベースのセキュリティ) は以下のような特徴を持っています。
- 役割に基づいて行アクセスを制限する
- 細かいアクセスコントロールの強化
- ユーザーごとに複数のポリシーの組み合わせが可能
- ポリシーが適用されないとアクセスできない
新しいAmazon Redshift機能について紹介します。
(プレビュー) AWS Lake Formation を使用してデータシェアリングアクセス制御が可能になりました。AWS Lake Formationを使用して中央でデータシェアリングを管理することで、細かいアクセス制御が可能になり、セキュリティを向上させることができます。
プレビュー）Amazon RedshiftがMuti-AZ（マルチアベイラビリティ）をサポートし、より高い復元性を実現しました。Multi-AZをサポートしながら、データを失うことなく自動フェイルオーバーが可能で、1つのエンドポイントで簡単に管理が可能になりました。
（GA）Amazon RedshiftとApache Sparkが統合され、Apache SparkアプリケーションがAmazon Redshiftに簡単かつ迅速にアクセスできるようになりました。
ADPケースの紹介
ADPには以下の問題がありました。
- グローバルアプリケーションのデプロイ/DRに多くの努力が必要
- 低スケーラビリティ
- メトリック計算とデータ収集の低い柔軟性と応答性
- 低環境とテスト
- マルチテナントアプリケーションのセキュリティ
ADPのAnalyticsアプリケーションアーキテクチャの構造は次のとおりです。
さまざまなソースデータ - > MSKとS3を介してDelta Lakeに保存 - > ETLパイプラインを介してRedshiftに保存 - > BI、Benchmarks、Metricsなど、さまざまなデータ分析に活用
データプロジェクトを進行する際に、データ分析の要件がある場合、Redshiftを使用するケースが多く、Redshiftをより効率的に使用するために今回のセッションを聞くようになりました。
以前は、セキュリティとアクセス制御を指定したように使用していましたが、今後Redshiftを使用し、セキュリティとアクセス制御に直接悩んで適用するためにどのような点を考慮する必要があるかを学ぶ機会でした。
