[COP303] Building real-time applications to utilize AWS Graviton (sponsored by Aerospike)（ガバナンス）

投稿日: 2022/12/09

他のすべての分野を超えたリアルタイムデータの成長により、アプリケーション設計者は新しいリアルタイムアプリケーションを構築するためのより効率的なインフラストラクチャとリアルタイムデータプラットフォームを探しています。

Aerospikeデータベースを含むAWS Gravitonは、これらの次世代サービスを構築するための理想的な出発点を提供します。このセッションでは、最小のクラスタスペースと、Gravitonの基本的なサポートを使用してリアルタイムアプリケーションを設計する方法について説明し、Fidelity InvestmentsとWix.comのケーススタディを通じて、AWSでのリアルタイムアプリケーションアーキテクチャを説明したセッションでした。

急速に成長するリアルタイムデータサイズ - 2025年までに爆発的な増加が予想されます。

リアルタイムデータの急増に直面するさまざまな問題には、リアルタイムデータに合わせて設計されていないインフラストラクチャの構成、既存のプロセス、効率的に管理されていないサイジングとスパイクによるコスト増加の問題などがあります。

リアルタイムデータの急増に伴うシステムアーキテクチャの要件

1. 1) 速度 – high speed
2. 2) HA – downtime 最小化
3. 3) データの一貫性
4. 4) データパイプライン構成の互換性
5. 5) 便利な大容量スケールアップ
6. 6) 予測可能な性能

Aerospikeが提案するシステム構成(Producer)

1. 1) 様々なデータソースからリアルタイムデータが収集
2. 2) kafka, jmsなど様々なブローカーから大容量データ収集可能
3. 3) 現存するすべてのランゲージからの連動が容易
4. 4) json、sqlなどのAPIを介して外部データの連携が容易

AeroSpike Databaseの構成の概要

1. 1) 各種データをAerospike databaseとして保存(key/value, documentdb, rdb, time seriesなど)
2. 2) 収集されたデータの活用度を最大化 (dynamic data processing, sql query, statistics, AI/MLなど)
3. 3) DB性能の最大化(in-memory, high speed storage, hybrid memoryなど)
4. 4) マルチクラウドで安定した駆動が可能であること
5. 5) 外部からのデータ活用が柔軟で安定しています

Aerospike が提供する value

1. 1) コスト削減効果80％
2. 2) 理論的に無制限に拡張可能
3. 3) 応答遅延の最小化
4. 4) 常にサービスON状態維持(10年無中断事例共有)

Aerospike Database 6 を AWS Graviton で運用して改善されたケースの紹介です。

次の講演者は、AWS で Aerospike database と進行中のサービス履歴を紹介しました。

高性能/低コスト/グローバルな使いやすさ、セキュリティ、信頼性を追求します。

intel xeon cpu + commercial ssdを使用した初期バージョンと比較して、Graviton cpu + Nitro SSDを適用した現在のバージョンは、70％以上のR / W性能改善と60％以上の省エネ効果を示しました。

Best Web Creation Platformになりたいwix.comの目標とともに、Wix.comの適用例が発表されました。

世界的に、ユーザーと同時接続者の増加によるパフォーマンスの低下に対する改善が必要となってきた。

Aerospike導入前のシステムアーキテクチャは、redis、rdsなどの2つのデータレイヤで構成されて複雑で、スナップショット管理に問題がありました。

Aerospikeの導入により改善された現在のアーキテクチャは、data layerをAerospike一つに統合運営することで複雑性を減らし、管理ポイントも減らすことができました。

snapshot管理もbatchマネージャを介してs3、emr、ec2、eksを統合して管理

一貫して安定したシステムを運営するだけでなく、性能までも大幅に上昇しました。

最後の講演者がFidelity資産運用システムにsnowflakeで収集したデータをAerospike連動して性能改善した事例を共有しました。

Aerospikeの導入によって得られるベネフィットは次のとおりです。

1. 1) AWS modernize
2. 2) snowflake data 分析プラットフォームとの連動
3. 3) R/W 混在したワークロードの性能向上
4. 4) use caseによる各種storageの使用が便利になる
5. 5) 設置、管理、ポリシー、セキュリティ要件の適用など、管理が容易

結論

大容量のリアルタイムデータプロセッシングにおいて、gravitonとAerospike databaseが優れた性能を提供するだけでなく、コストまでも節約する最適な組み合わせだと紹介するセッションでした。もちろん発表資料をそのまま盲信することはできませんが、数値とsuccess caseで見せたセッションは十分に関心を持つようになりました。近いうちにAWS managed serviceを提供しているので、ベンチマーキングテストを経て顧客のサービスに適用を検討してもいいようです。