MLOps on AWS概要
- AI /データ活用を推進するためには、「データ分析」と「事業・業務での活用」のサイクルを回し、事業への貢献を最大化する仕組みが求められます。
- しかし、AIモデルをシステムとして実現するためには特有の課題があり、それを克服するため“MLOps”という考え方が提唱され始めました。
- CTCはお客様のプロジェクトに参画し、お客様のAIを用いたシステム化推進のための課題を洗い出し、解決処方を提示して、MLOpsの 導入含めてAIライフサイクル全般の支援を行います。
- 特に、AWSでの長年の実績と成果を活用することで、ALL-CTC体制で円滑に遂行します。
MLOpsとは？その必要性
AIシステム開発で起こり
がちな課題
課題① AIモデル生成タスクに時間がかかり過ぎる
AIモデルを生成するためは、アルゴリズムを規定しチューニングする必要がある。しかし、その工数は、システム化の他の作業に比べそれほど大きなものではない。アルゴリズム自体、公開されているものを利用可能で、チューニングも自動化されているため、もっと効率化したい･･･。
課題② 各チームのスキルやナレッジが異なり、極端な分業体制になってしまっている
データエンジニア、サイエンティスト、アプリケーションの開発者はそれぞれスキルやナレッジが異なり、互いに他の分野のことを知らない場合が多い。そのため、意図していないにもかかわらず、極端な分業体制になってしまっている･･･。
課題③ 運用後の自動化を見据えた設計ができていない
開発時に生成したモデルは永続的なものではなく、時間と共にデータが変化していくと精度不良となる可能性が高いため、運用中に検知してAIモデルを再作成する必要がある。それを人手で実施することは現実的ではないため、開発の段階から、運用での自動化を見据えた設計にする必要がある･･･。
こうした課題を解消し、さらなるAI/データ活用を推進するためには、
持続可能なプランニングと継続的な改善を行うためのパイプライン形成、
そしてライフサイクルマネジメントが必要です。
そこで注目されているのが、
機械学習チーム、開発チーム、運用チームの開発工程と運用工程をパイプライン化し、
データ処理やコミュニケーションを円滑にする
「MLOps」という考え方です。
MLOps= ML （機械学習） + Dev（開発） + Ops（リリース・運用）
- Machine Learning
-
- ③ データを用意
- ④ 機械学習アルゴリズムを適用し、モデル化
- ⑤ 精度や過学習等の検証
- Development
-
- ① AIの要件を定義
- ② システム化を見据えた設計
- ⑥ モデルを他のプログラムと一緒にパッケージ化
- Operation
-
- ⑦ モデルとプログラムを本番環境へリリース
- ⑧ 設定変更や微調整を実施
- ⑨ 運用監視を行い問題が発生していないか監視
なぜ、クラウドでMLOpsなのでしょうか。
以下のように、MLOpsはクラウドサービスとの親和性が高いことが挙げられます。
-
スケーラビリティ
クラウドプロバイダーが提供する自動スケーリングサービスを活用することで、MLOpsで必要とされるリソースを必要なだけ利用することができます。 -
迅速な開発とデプロイ
クラウドプロバイダーが提供する機械学習ツールやAPIを活用することで、迅速に機械学習モデルを開発し、デプロイすることができます。
なお、クラウドのメリットに関しては、以前紹介したサービスにも記載があります。
https://www.ctc-g.co.jp/solutions/cloud/ai/ai.html
MLOps導入に向け、必要な取り組みとは？
継続的なAI活用パイプラインの設計
CI/（CL）/CDの継続的な活用のためには、データサイエンティストとOpsエンジニア（運用系SE）が連携して継続的なAIを開発・運用を行うためのパイプラインを設計。MLOps環境と機能を実現する必要があります。
※CI（継続的インテグレーション）：データやモデルのテストと検証
※CD（継続的デリバリー）：最新のデータで再トレーニングした機械学習モデルを自動的に本番環境にデプロイ
業務運用の仕組みやルールづくり
MLOpsを導入すればすべての課題が解決するわけではありません。既存システムやデータレイクなどとの連携を考慮したアーキテクチャの検討、業務運用の仕組みやルールも組織内に形成する必要があります。
| データ分断の課題 | データが分断、組織が分断されておりすぐに活用できない |
|---|---|
| データ準備の課題 | 大規模・複雑なデータを加工できる環境・ツール・人材がいない |
| データ品質の課題 | データはあるが品質が管理されておらずすぐには利用できないデータ、分析結果の正確性も不安 |
| データ品質の課題 | すぐにデータを活用したビジネス運用までに時間が掛かり、データ分析の結果の正確性にも不安 |
| データの統合 | データが統合されており必要なデータにすぐにアクセスできる環境 |
|---|---|
| データ準備の 高速化 |
基盤やツールが整備、自動化・標準化等されており生産性が向上 |
| データ品質向上のサイクル | データの出自や可視化、分析がフィードバックされており蓄積データの品質が高く利用可能 |
| データ活用の広がり | データ収集～分析、改善をプロセス化し、全社でのデータ活用を高速化、DXを推進 |
MLOps on AWSサービス詳細
CTCが、AWSクラウド環境＋モデル運用を前提としたMLOpsによる、
継続的なAI開発環境「MLOps on AWS」の構築を支援します。
- お客さまのプロジェクトに参画し、お客さまのAIを用いたシステム化推進に向けた課題洗い出しおよび解決策の提示などの支援を行います。
- AI案件での豊富な実績や成果を活用することで、MLOpsを円滑に遂行します。
- 主な支援内容
-
- AIモデルの動作要件理解
- モデル運用設計支援
- 本番稼働に向けての課題整理
- 要求事項ヒアリング
- プロトタイプ環境構築と動作検証
- 移行支援
- 機能/非機能要件の整理
- スキルトランスファー
※あくまでも例であり、お客さまの要望に合わせて別途定義致します。
PoCからMLOpsへ
- MLOpsの前工程として、PoCから実施することもできます。
- PoC段階からMLOpsの考えを取り入れることで、より一体的な案件遂行が可能となります。
豊富なAI/分析プロジェクト実績
- CTCにはAIや分析に関する案件やPoCでの様々な実績があります。これらのノウハウをMLOpsに付加することができます。
詳細は、以下のURLにも記載がございます。
https://www.ctc-g.co.jp/solutions/ai/?menu=1#detail-top
グループCRM、優良顧客育成
- テーマ
- グループ企業内データ（乗車・予約データ、加盟店購買データ、アンケートなど）を突合、顧客セグメンテーションにより顧客特性を分析
- インサイト
- データから、優良/離反/非優良/ビジネス/観光/乗車行動傾向などの顧客分類の実現性を確認
輸送量予測
- テーマ
- コロナのような転換時にも確度の高い輸送量予測の仕組みを確立し、臨時列車、人員配置の計画などの最適化を実現
- インサイト
- 将来の輸送量を決定しうる先行指標の探索・発見
建材機械メーカー
- テーマ
- 施工設計時、過去の建設現場を参考にして、建設機器の数や種類などを把握し見積を作成している。見積を早く正確に作成するには類似現場を見分ける必要があるが、ベテラン作業者の経験やスキルが必要となる。
- インサイト
- 施工現場の画像と数値情報を入力して過去の現場情報との差をスコア化。スコアを総合評価したうえで類似現場判別を支援するモデルを開発。
材料最適化
- テーマ
- 材料費にかかっているコストを削減することを目的に、膨大な量の実験を行っている
- インサイト
- MIを活用した分析支援を実施することで、物質の性質を維持しつつ、コスト削減可能な条件を効率的に見つけることが可能に。今後は内製化支援として顧客担当者にスキルトランスファーを行う。
発電
- テーマ
- 発電プラントの更なる安全確保、および人手の確保が難しい広範囲の点検業務の最適化
- インサイト
- ドローンやカメラで取得した画像をAIで解析し、水漏れ・設備不具合などの初期症状を発見
推進体制
お客さまのプロジェクトに対し、ALL-CTCで案件推進を行います。
実施工程
導入事例
お客さまの背景・課題
分析に使用するデータの利用や、前処理プログラム、モデルの管理が属人的になっている
- 実施している分析内容が各個人で保有されており、社内で共有されていない
- 前処理プログラムやモデルの管理ができていない
全社共通基盤としてAWSが導入済であり、この分析環境も移行したい
- 分析環境としても、AWSネイティブなものを検討すべき
- 変更管理やその自動化、運用の観点を取り入れるべき
CTC支援内容
AWSネイティブな分析基盤の構築、
MLOpsの考えを取り入れたシステム構築を目指す
- AWSネイティブなSageMakerやGlueの導入を検討
- モデル変更の自動化や運用の観点から、
MLOpsの考え方を取り入れる
前処理/分析プログラムの移行と
MLOps環境構築
- 既存プログラムをSageMaker、Glue上へ移植
- MLOps環境の設計/構築
導入効果
システム全体の自動化/一括管理が実現
- 管理工数およびコストを低減
- 人的な手間を削減でき、新たなサービス開発への注力が可能に
よくあるお問い合わせ（FAQ）
Q. MLOps以前に、AWS上でデータの活用方法ががわからない場合は、どのような支援が可能か。
A.弊社で提供しているデジタル活用支援サービスをご紹介することが可能です。そのアセスメントの結果、MLOpsの考え方を取り入れた検証等を要望する場合には、本サービスのご提供について改めて、ご提案させて頂きます。
https://www.ctc-g.co.jp/solutions/ai_services
Q. ある程度の要件が明確になっている場合は、どのような進め方になるか。
A.システム構成によっては、全体をMLOpsとする必要が無い場合もありえるため、まずは範囲を定義します。その後は、一般的なSIと同じ考えに沿って、要件定義-設計-開発-テストを進めて行きます。
