AI時代の新たな脅威と守り方｜AIに潜むリスクとガイドライン・対策まとめ

生成AI関連のインシデント例

普及が進む生成AIですが、残念なことに既にセキュリティインシデントが多数報告されています。あるケースでは、社員が社内の機密情報を含む文章をチャットサービスに入力し、要約を依頼しました。しかし、そのサービスは外部クラウド上で動作しており、入力データが学習に再利用される設定となっており、結果として機密情報が第三者に再利用される恐れが発覚しました。これはほんの一例ですが、他にも様々なインシデントが知られています。

生成AI関連のセキュリティインシデント一例

関連記事：生成AI活用のリスクをどう防ぐか｜AIセキュリティの基礎

AIセキュリティを導く「ガイドライン」

生成AI利活用にともないセキュリティ脅威が顕在化する中、「どうやって安全に使うか？」という問いに答えるために、各国や国際的な機関がガイドライン（指針）を整備しています。これらは生成AIを開発・導入・運用する際に、リスクを減らし信頼性を高めるための道しるべとなるものです。ここでは代表的なガイドラインの一例を概要とともにご紹介したいと思います。

日本国内のガイドライン

・セキュアAIシステム開発ガイドライン（内閣府・内閣サイバーセキュリティセンター）

2023年11月、英国NCSCや米CISAと連名で公開

セキュアバイデザインを基軸とし、設計・開発・導入・運用のフェーズごとに脅威モデルの定義、SBOM活用、アクセス／改ざん防止、監視体制・自動アップデートなどを網羅
https://www8.cao.go.jp/cstp/stmain/20231128ai.html

・AI事業者ガイドライン（経産省／総務省）

2025年3月に1.1版が公表

「人間中心」「安全性」「公平性」「透明性」など10原則を掲げ、AI開発者・提供者・利用者の立場からセキュリティ対策を定義し「共通の指針」として、セキュリティ確保を重視し、国際潮流との整合性も担保
https://www.meti.go.jp/press/2024/04/20240419004/20240419004.html

・テキスト生成AI導入・運用ガイドライン（IPA）

2024年7月に公開されたα版

組織が生成AIを導入・運用するにあたり、目的明確化、リスクマトリクス、プロンプト情報漏えい対策、不適切生成防止、継続モニタリング体制を体系化
https://www.ipa.go.jp/jinzai/ics/core_human_resource/final_project/2024/generative-ai-guideline.html

・総務省「AIセキュリティ分科会」計画

2025年9月より開催のサイバーセキュリティタスクフォースにおいて、LLMに対する攻撃（プロンプトインジェクション、DoSなど）への技術的対策ガイドライン策定を計画2025年度内にガイドラインとして公表予定
https://www.soumu.go.jp/main_content/001028034.pdf

 海外のガイドライン

・CISA「AI Data Security Best Practices」

2025年5月、CISA・NSA・FBIなどが連携し公開

AIシステムが扱う学習データの機密性・整合性・可用性に焦点を当て、ライフサイクル全体におけるデータ保護を強調
 https://www.cisa.gov/news-events/alerts/2025/05/22/new-best-practices-guide-securing-ai-data-released

・NIST 「AI Risk Management Framework (AI RMF)」と「COSAIS構想」

2023年に公開され、生成AI向けプロファイルも登場

さらにSP 800‑53ベースのCOSAIS（AIセキュリティ制御オーバーレイ）構想が進行中で、AI特有のリスクへの実装指針を提供予定
https://www.nist.gov/itl/ai-risk-management-framework
https://csrc.nist.gov/csrc/media/Projects/cosais/documents/NIST-Overlays-SecuringAI-concept-paper.pdf

・CSA「AI Controls Matrix（AICM）」

2025年7月、CSA（クラウドセキュリティアライアンス）が発表

信頼性・可説明性・透明性・ガバナンス・プライバシーなど、生成AIに求められる要件を体系化した制御マトリクスを提供

日本語版での提供も開始
https://cloudsecurityalliance.org/artifacts/ai-controls-matrix

関連記事：AI TRiSMとは? 言葉の意味や注目されている背景について解説

AIに関する脅威情報

「AIをどうやって安全に使うか？」という視点において、よりセキュリティにフォーカスした脅威情報の収集も欠かせません。収集した情報を踏まえ、リスクに応じた防御策を計画し、確実に実装することが求められます。そして、具体的にどのような手口があるか？どのようなリスクがあるか？を体系的に整理した「MITRE ATLAS」や、LLM特有の脆弱性をまとめた「OWASP Top 10 for LLMs」が指針として広く知られています。

MITRE ATLAS

MITRE ATLAS（Adversarial Threat Landscape for Artificial-Intelligence Systems）は、AIに対する攻撃手法を攻撃者の視点から体系的に整理したフレームワークです。サイバーセキュリティ分野では「MITRE ATT&CK」が有名ですが、ATLASはAIモデルや学習プロセス、推論結果などAI固有の要素に焦点を当てています。

MITRE ATT&CK同様、戦術‐テクニック-サブテクニック-緩和策-事例と体系的にリストされており、(本稿執筆時点で15の戦術が定義)どのフェーズでどのような対策を講じるべきかを明確にすることができます。正しく活用することでAIに特有の脅威を分類・可視化し、どこが狙われやすいか？どう守るべきか？を具体化させ、優先順位付けの指針を定めることができます。

OWASP Top 10 for LLM Applications

OWASP（Open Worldwide Application Security Project）は、Webアプリケーションの脆弱性に関する情報を提供する著名な非営利団体ですが、2023年に「OWASP Top 10 for LLM」を発表しました。これはLLM（大規模言語モデル）に特化した実践的な脅威分類として策定されたもので、LLMを活用する企業にとってはセキュリティ設計や運用ポリシーに反映すべき重要な要素となるものです。本稿執筆時点での最新はVer2025となります。

OWASP Top 10 for LLM Applications 2025 概要

Security for AI?

では、生成AIを安全・安心に利用するためにはどのような対策を講じればよいのでしょうか？
これまでにあげたような新たな脅威、利用課題に対する備えとして”Security for AI”という考え方が急速に広まってきています。一言で表せば「生成AIそのものを守るためのセキュリティ対策」となりますが、生成AI自体のアーキテクチャが多岐に渡ることから、対策となるセキュリティ技術領域もまた非常に広範なものとなります。インフラ面や認証認可といった従来からのセキュリティ対策も引き続き重要な一方、LLMガードレール、シャドーAI検出、AIレッドチームなど、まさにAIネイティブなセキュリティ対策との両立が重要です。

関連記事：LLMガードレールとは｜AI時代の新たな脅威と守り方‐続編

AIセキュリティの全体像

生成AIのシステム構成と上述の”Security for AI”の代表的なソリューションを全体像としてマッピングしてみました。従来のセキュリティ対策とAIセキュリティに特化した対策を組み合わせることでセキュリティ強度を大きく高めることにつながります。

このうち、AIセキュリティ対策として記載した項目を解説します。

シャドーAI対策

組織として利用が認められているAIシステムの他に、利用者が隠れて使用しているAIシステムを検知します。シャドーAIはガバナンスの問題に加えて、機密情報を外部AIに入力してしまうことで外部に学習/保存される可能性が高まります。組織によってはまだ制限なしに自由な利用を許可しているケースもありますが、これらを放置することで情報漏洩のリスクが生じるため大きな問題と言えます。

シャドーAI対策は技術的には主に利用者のネットワーク通信、エンドポイントのプロセス監視、ログやAPI履歴からのトレースといった情報から検知を行います。

ランタイム保護

ランタイム保護とは、LLMが実行されている環境においてリアルタイムでデータの入出力やその内容を確認し、悪意ある利用や情報漏洩を防ぐための技術的セキュリティ対策を指します。従来のアプリケーション保護とは異なり、プロンプトインジェクションやハルシネーション、情報漏洩など、LLM特有のリスクに対応しているのが大きな特徴となります。
具体的なソリューションとしては、LLMガードレール/AIガードレール/AIDR/AI- Firewall(※本稿執筆時点でソリューションの呼び方が統一されていない)があげられ、フロントアプリで入力されたプロンプトやLLMがデータへのアクセスを行う際に介在して入出力内容をチェックし、不適切な内容やセキュリティ的に問題のある内容をブロックすることが可能です。

データモニタリング

生成AIで活用されるデータに対するセキュリティ対策も重要です。データ呼び出しに伴うNHI（人間以外のアイデンティティ）の制御、保存データの暗号化、匿名化、データを含めたAI開発環境そのものの態勢管理など求められる要素も多岐にわたります。また、システムが複雑化したことでブラックボックスとなる範囲も広がってしまうため、可観測性（オブザーバビリティ）確保も重要な要素となります。特に学習データへの不正アクセスや、モデル再構築（リトレーニング）時のデータ改ざんは深刻なリスクとなり、データ保護と強力なアクセス制御、可観測性手段を確立し、システム全体でデータの完全性を考慮する必要があります。

AIモデル検査・診断

AIレッドチーミングは、診断テストの一環としてAIシステムに対して意図的に攻撃的/悪意ある入力を与え、脆弱性や潜在的なリスクを洗い出すセキュリティ検証手法です。
技術的には、攻撃テンプレートの自動生成、出力のトキシシティ評価、ログ監視、アラート設定などを用いてプロンプトインジェクション、情報漏洩、モデルの悪用（例：有害コンテンツ生成）を検出します。これらはAIガバナンスやセキュリティ対策の一環として重要な要素となります。

関連記事：生成AI時代のAIガバナンス｜安全な活用を支えるためのポイントとは

まとめ

AIの急激な進化はビジネスや社会に革新をもたらす一方で、新たなセキュリティ課題も浮き彫りにしています。

そしてその対策となる、「AIそのものを守るSecurity for AI」の本格的な導入もすぐそこまで来ています。本稿で取り上げたセキュリティ対策も近い将来には当たり前のこととなるでしょう。次回は本稿で取り上げた内容のうち、大きな注目を浴びているLLMガードレールに掘り下げて解説したいと思います。

当記事が皆様のお役立ちの一助になれば幸いです。