AI活用本格化の鍵はクラウドネイティブにあり│変化に強いAIシステムはこうして作る

1. AI活用の進展で浮上する問題

企業によるAI導入は、PoCの段階を終え、本番運用から全社展開のフェーズに入りつつあります。この過程において、企業は様々な課題に直面しています。中でも大きな課題といえるのが以下の3点です。

1. 必要なシステム更新がスピーディに行えない：
   AIシステムは一度作って終わりのシステムではありません。システムに対するニーズ・要件の変化に応じて、学習・推論に用いるデータを変更・追加したり、AIモデルの精度を改善したり、プロンプトや連携させる外部システムを見直したりしなければなりません。
   そうした更新作業に手間取り、必要な機能強化が速やかに図れないと、AIシステムの価値はどんどん低下していきます。

2. 運用コストが想定以上に増大する：
   AIシステムを使うユーザーが増えるにつれて、GPUリソースの調達費・使用料やAIが処理したトークン（情報量）への課金、AIモデルのホスティング費、データ基盤の維持費など、様々なコストが増大します。特に、処理のピークに合わせてリソースを固定化すると、AIシステムの運用コストが想定以上に大きくなることがよくあります。

3. アクセス集中時にレスポンス性能が劣化する：
   例えば、AIアシスタントやAIチャットボットは、回答の正確性だけでなく、ユーザーにストレスを感じさせないスピードでレスポンスを返すことが必要とされます。そうしたシステムの全社展開によって利用者が増え、問い合わせが集中することでレスポンスの遅延が発生しやすくなります。結果として、「このシステムは使えない」という評価が下され、誰にも使ってもらえなくなるリスクが増大します。

これらの問題を解決する上で必要とされるのは、負荷に応じてリソースを柔軟に拡縮できる環境やシステムをスピーディに、かつ高い品質でリリース・更新できる環境の構築です。
そのための有効な手段といえるのが、クラウドネイティブの手法・技術を活用することです。

2. クラウドネイティブのおさらい

クラウドネイティブの手法・技術の採用が、なぜAIシステムの課題解決につながるかを説明する前に、「クラウドネイティブとは何か」についておさらいしておきます。

クラウドネイティブとは、パブリッククラウドやプライベートクラウド、あるいはハイブリッドクラウドにおけるスケーラブルなアプリケーションを構築・実行するためのアプローチです。クラウドネイティブによって実現された疎結合型のシステムと自動化の仕組みを組み合わせることで、システムの変更を最小限の労力で高頻度に行うことが可能になります（※1）。

以下の表1は、こうしたクラウドネイティブのアプローチを支える中心的な手法をまとめたものです。

表1：クラウドネイティブのアプローチを支える中心的な手法

以下、これらの手法、あるいは手法を支える技術が、先に触れた3つの課題の解決にどう有効なのかについて紹介します。

※1 参考コラム：「クラウドネイティブ」の基礎を知る｜ クラウドネイティブとは何か？どんなメリットがあるのか？

3. コンテナ化でAIシステム開発の生産性を高める

クラウドネイティブの手法を活用することで、AIシステムのリリース、
あるいは更新のスピードと品質を共に高めることが容易になります。

例えば、AIチャットボットやAIエージェントなどのシステムをコンテナ化します（図1）。

図1：コンテナ化したAIシステムのイメージ（左がAIチャットボット、右がAIエージェント）

これにより、AIシステムを、コンテナ化されたアプリケーション（以下、コンテナアプリ）として扱えるようになり、CI/CDツールやKubernetesによるビルド、テスト、デプロイ、
そして運用の自動化が可能になります。結果として、AIシステムのリリース、あるいは更新のスピードを向上させることができます。

3-1. マイクロサービス化で機能の追加・更新をより簡単に

AIシステムをコンテナ化するのと併せて、マイクロサービス化することで、システム更新のスピードをさらに増すことが可能になります。マイクロサービスの考え方は、アプリケーションを機能ごとに細かく区分けしてサービスとして実装し、サービス同士を疎結合させるというものです。この手法を採用することでAIシステムを構成する機能を、例えば、ユーザーから指示を受け付ける「窓口」部分と「推論（思考）」部分、「記憶」部分、「行動」部分などへと細かく分離し、それぞれの機能追加・変更を個別に行うことが可能になります。これにより、特定機能の追加・変更のためにシステム全体を作り直す必要がなくなり、更新の作業を効率化することが可能になります（図2）。

図2：AIエージェントをマイクロサービス化するイメージ

3-2. オブザーバビリティを実現することの意義

システムの更新においては、更新のスピードだけではなく、その品質も高いレベルで確保することが必要とされます。そこで必要になるのが、オブザーバビリティを実現するツールの導入です。これによって、更新したAIシステムの内部で「いま、何が起きているか」がつぶさに捉えられるようになり、それを品質の維持・改善につなげられます。

また、本番投入したAIモデルは、時間の経過と共に精度が低下する「モデルドリフト」を引き起こすことがあります。この問題は、AIモデルのGPU使用率やメモリ使用量だけを監視していても検知できず、「入力データの品質」や「推論遅延」「回答品質」なども包括的に観測すること、つまり、オブザーバビリティの実現が必要になります。

3-3. 「MLOps」を取り入れる

CI/CDやKubernetes、オブザーバビリティの採用は、「MLOps」の実現にもつながります。

MLOpsとは、「Machine Learning（機械学習）」と「Operations（運用）」を組み合わせた造語です。AIモデルの精度を高いレベルで維持するためには、AIモデルの精度低下を、観測によって速やかに検知し、AIモデルの再学習を行い、本番環境へとデプロイしなければなりません。そのプロセスを効率化・自動化する方法論がMLOpsです。この方法論は、機械学習とソフトウェアの開発・運用のプロセスを一体化させて自動化・効率化することを目指しています。このプロセスでは、以下の順番で作業が流れていきます（図3）。

1. 要件定義：AIの要件定義

2. 設計：システム化を見据えた設計

3. データの準備：AIに学習させるデータの収集

4. モデリング：機械学習アルゴリズムを使ったモデル化

5. 検証：アウトプットの精度などの検証

6. パッケージング：AIモデルと他のプログラムとのパッケージ化

7. 本番リリース：本番環境へのパッケージのリリース

8. 設定の変更・調整：設定の変更・微調整

9. 運用監視：観測を通じて問題発生の有無を監視

図3：MLOpsの全体イメージ～MLOps＝ML（機械学習）＋Dev（開発）＋Ops（リリース・運用）
出典：伊藤忠テクノソリューションズ「MLOps on AWS」より引用

これら一連のプロセスを効率化・自動化する上でも、コンテナ化やKubernetes、CI/CD、オブザーバビリティなどの手法・技術が有効に機能します。

4. スケーリングの自動化で運用コストの増大を抑制する

クラウドネイティブの手法・技術の活用は、AIシステムの運用コストを抑制する上でも有効です。

例えば、IaCやKubernetesを活用することで、AIシステムを動作させるインフラリソース（GPUなどのコンピューティングリソース）について「必要な時に、必要な分だけ割り当て、不要になれば解放する」といったプロセスが自動化できます。

これにより、システムのアイドル時に過剰なリソースを確保したり、リソースを常にピーク時に合わせて確保したりといった非効率な運用が一掃されます。結果として、運用コストが適正化されます。

5. クラウドネイティブでレスポンス遅延を抑える

クラウドネイティブの手法・技術は、アクセス集中によるレスポンスの遅延という問題の解決にもつながります。

例えば、Kubernetesには、コンテナへの負荷に応じて、コンテナ数を増減させる「水平スケール（スケールアウト／スケールイン）」の機能が実装されています。
これにより、ピーク時のアクセス負荷を複数の実行環境に自動的に分散させ、一定水準のレスポンス性能を確保することが可能になります。

また、マイクロサービスの手法を取り入れることで、AIシステムのレスポンス性能を確保することがより容易になります。例えば、マイクロサービスの手法を取り入れて、推論処理のように負荷が大きい機能と、認証・画面表示・履歴管理などの比較的軽い機能を分離します。こうすることで、レスポンスのボトルネックになっている部分だけを個別に増強しやすくなります。

さらに、サービスメッシュの手法を使うことで、サービス間通信における「リトライ」「タイムアウト」「負荷分散」などの処理をインフラ側で制御できるようになります。これにより、アクセスが集中した際にも通信経路を適切に制御し、特定のサービスに対する負荷の集中や待ち時間の増大を抑えることが容易になります。

6. クラウドネイティブ化に向けた現実解

クラウドネイティブコンピューティングの普及・発展を目的に組織された非営利団体のCNCF（Cloud Native Computing Foundation）では、システムのクラウドネイティブ化に向けた道筋として「Cloud Native Trail Map」を公開しています。
そこでは、コンテナ化、CI/CD、オーケストレーション、オブザーバビリティ、サービスメッシュなどの導入ステップが、ロードマップとして示されています。AIシステムの開発・運用インフラの改革も、こうしたクラウドネイティブ化に向けた標準ステップをベースに考えることができます。

ただし、Cloud Native Trail Mapはあくまでも標準のリファレンスであり、このロードマップどおりにクラウドネイティブの手法、あるいは技術の導入を進める必要はありません。
自社におけるAI活用の現状・課題に合わせながら、クラウドネイティブ化の優先順位を決めることが大切です。

また、クラウドネイティブの手法・技術の導入・活用には、相応の知識・ノウハウの習得が必要です。そのため、外部のエキスパートの力を借りながら、まずは小さく始めて、効果を確認し、段階的にクラウドネイティブ技術の適用範囲を広げていくことが現実的です。

CTCでは、そうしたお客様の取り組みを伴走型で支援するサービス「C-Native」を提供しています。本サービスでは、クラウドネイティブ技術による開発・運用インフラの変革について、コンサルティングから開発・導入・運用・保守まで、一貫したサポートを提供しています。