なぜ既存セキュリティでは生成AIを守れないのか？｜エンタープライズAI時代の新たな脅威と対策

1. 生成AIセキュリティの基本

生成AIセキュリティを正しく理解するには、従来のITセキュリティとは異なる視点が必要になります。生成AIは単なるツールではなく「入力（プロンプト）」「処理（モデル）」「出力（回答）」という一連の流れを持つため、どこでリスクが発生するのかを構造的に把握することが重要です。本章では、生成AIセキュリティの基本として以下の2つの観点を解説します。

• AI for SecurityとSecurity for AI

• パブリックAIとエンタープライズAIの違い

AI for SecurityとSecurity for AI

生成AIとセキュリティの関係は、大きく「AI for Security」と「Security for AI」の2つに分類できます。

AI for Securityとは、AIを活用してセキュリティ機能そのものを高度化する取り組みです。具体例としては、未知のマルウェアの検知や不正ログインの防御、ログの監視・分析の自動化などが挙げられます。

一方でSecurity for AIは、生成AIを安全に利用するためのセキュリティ対策です。具体的には、シャドーAIの検知・防止、AIに混入する機密データの監視、出力時のデータ制御などが含まれます。

※シャドーAI…企業が公式に許可・管理していないAI関連のツールを、従業員が独断で業務に利用すること

生成AIの利用が業務に浸透するにつれ、Security for AIの重要性が急速に高まっています。その理由は、生成AIにおいては入力内容や出力結果そのものが新たな攻撃対象やリスクの起点となるため、従来の境界型セキュリティだけでは十分に防御しきれないからです。

パブリックAIとエンタープライズAIの違い

生成AIは、利用形態によって「パブリックAI」と「エンタープライズAI」の2つに大別されます。

パブリックAIは、ChatGPTやCopilotなど、インターネットを通じて誰もが利用可能な生成AIサービスです。対してエンタープライズAIは、自社専用に構築・運用される生成AIであり、プライベートAIとも呼ばれます。両者の大きな違いは、パブリックAIが外部のLLMモデルを共有利用するのに対し、エンタープライズAIは自社専用の環境でモデルを運用し、データの管理権限を自社で完全に保持できる点にあります。

※LLMモデル（Large Language Models）…大量のデータ学習により、人間のように自然なテキストを理解・生成できるAIモデル

2. パブリックAI利用時の4つのリスク

パブリックAIは手軽に導入できる一方で、企業の統制が及びにくいという構造的な課題を抱えています。重要なのは、パブリックAI特有のリスクを体系的に理解し、どのような問題が起こり得るのかを把握することです。本章では、パブリックAIにおける4つの代表的なリスクを解説します。

• リスク1：シャドーAIによる情報漏えい

• リスク2：ハルシネーションによる誤判断

• リスク3：悪意あるリンク・コードの混入

• リスク4：プロンプト経由での機密情報流出

リスク1：シャドーAIによる情報漏えい

シャドーAIとは、企業が正式に許可・管理していない生成AIツールを、従業員が業務目的で利用することです。「業務効率を上げたい」という善意の行動であっても、企業が把握していない場所で個人情報や機密情報をプロンプトに入力すると、情報漏えいにつながるリスクがあります。

パブリックAIは入力データの取り扱いが各サービスの利用規約に委ねられるため、企業側で完全にコントロールできません。その結果、いつ・誰が・どのような情報をAIに入力したのかを把握できないブラックボックス化が進み、リスクが可視化されないまま蓄積していきます。

リスク2：ハルシネーションによる誤判断

生成AIは、もっともらしい嘘をつく「ハルシネーション」を起こすことがあります。

AIの回答を検証せずに鵜呑みにしてしまうと、誤った意思決定や不適切な顧客対応を招くおそれがあるため注意が必要です。特に専門知識が求められる分野や、正確な情報が重要となる業務において、ハルシネーションのリスクは無視できません。

リスク3：悪意あるリンク・コードの混入

パブリックAIの回答には、悪意あるリンクやコードが含まれる場合があります。具体的には、フィッシングサイトへの誘導や、不正なスクリプトの実行につながるコードが回答内に含まれるケースです。

利用者がパブリックAIの回答を無条件に信頼してしまうと、マルウェア感染や情報窃取（他人の財産や情報をひそかに盗み取ること）といった二次被害を招く危険性があります。

リスク4：プロンプト経由での機密情報流出

パブリックAIでは、プロンプトに入力した内容そのものがリスクとなります。業務文書やソースコード、顧客情報などをそのまま入力した場合、パブリックAIがそれらの情報を学習し、意図せず第三者に情報が渡ってしまうことがあるためです。

3. パブリックAIに対する既存セキュリティ対策と現在地点

パブリックAIの利用が広がるなか、多くの企業では既存のセキュリティ製品や社内ルールを用いてリスク対策を行っています。しかし、従来型の対策だけでは、生成AI特有のリスクを十分にカバーできないのが実状です。本章では、以下について解説します。

• 既存セキュリティ製品でできること

• 既存セキュリティ製品で不十分な理由

既存セキュリティ製品でできること

既存のセキュリティ製品を活用すれば、パブリックAIの利用に対して一定の制限や可視化を行うことは可能です。

例えば、AIアプリの利用可視化/制御に関しては、Palo Alto Networks社が「AI Access Security」、Netskope社が「Netskope One AIセキュリティ」という製品をリリースしています。また、Webアクセス制御/プロンプト制御に関しても、Palo Alto Networks社の「Strata PA-FW」や「Prisma Access」、Netskope社の「Netskope One」といった製品が対応しています。

ただし、プロンプトの制御に関しては、DLP※で対応できないケースがある点には注意が必要です。

※DLP（Data Loss Prevention）…企業の重要データが外部に漏えい・流出することを防ぐためのセキュリティ対策や製品群

既存セキュリティ製品で不十分な理由

単純なキーワードマッチングであれば、DLPでプロンプトの制御が可能です。

しかし、プロンプトに自然言語を入力する生成AIでは、単純なキーワードマッチングによる制御が難しく、精度も十分ではありません。パブリックAIのプロンプト制御をより高度に行うには、後述する「LLM Guardrail」が有用です。

4. エンタープライズAI利用時のセキュリティ懸念　

エンタープライズAIは、社内データや業務システムと連携することで高い業務価値を生み出しますが、リスクも高度かつ複雑になります。

OWASP（ソフトウェアセキュリティの改善に取り組んでいる非営利団体）は、LLM（大規模言語モデル）特有の脅威として、重要なセキュリティ事項を定義しています。

OWASP LLM Top 10

OWASPにも定義されているLLMの代表的なセキュリティ事項は以下の3つです。

LLM01：プロンプトインジェクション

プロンプトインジェクションとは、悪意ある入力によってLLMの振る舞いを意図的に操作し、不正な情報の取得や制限の回避を行う攻撃です。例えば、本来は禁止されている機密情報を出力させたり、内部システムの挙動を操作したりすることが可能になります。

エンタープライズAIは社内データや業務APIと連携しているケースが多く、プロンプトインジェクションの被害が大規模化しやすい点が特徴です。

LLM02：機密情報の漏えい

生成AIの利用において、プロンプトやAIの出力結果は新たな情報漏えい経路になり得ます。従業員が意図せず機密情報を入力してしまうケースだけではなく、AIが内部データを参照した結果、権限のないユーザーに不適切な情報を出力してしまう点も大きなリスクです。

特にエンタープライズAIは社内データと接続されているため、アクセス制御や出力制御が不十分だと、重大な情報漏えい事故につながるおそれがあります。

LLM04：データ・モデル汚染

データ・モデル汚染とは、学習データや参照データに不正確な情報や悪意あるデータが混入し、モデルの挙動や判断が歪められるリスクを指します。

エンタープライズAIでは業務データを継続的に取り込むケースが多く、汚染に気づきにくいのが実情です。その結果、誤った回答が常態化したり、特定の判断に偏りが生じたりするリスクが高まります。

5. エンタープライズAIに対する既存セキュリティ対策と現在地点

エンタープライズAIは業務の高度化を実現する一方、従来のITシステムとは異なる新たなセキュリティリスクを抱えています。本章では、生成AIシステム全体の構成を整理し、既存のセキュリティ製品で対応できる領域と限界を明確化したうえで、エンタープライズAIを守るために求められる視点を解説します。

• 生成AIシステム全体の構成要素

• 既存セキュリティ製品でできること

• LLM Guardrailの問題点

• AI Red Teamの問題点

生成AIシステム全体の構成要素

エンタープライズで利用される生成AIは、単一のLLM（大規模言語モデル）だけではなく、複数の要素が連携することで業務に耐えうるAIシステムを構成しています。

既存セキュリティ製品でできること

生成AIシステムの構成要素のなかには、従来のセキュリティ製品で十分に対策できる領域も存在します。既存のセキュリティ製品がどの範囲まで有効に機能するのかを整理します。

フロントアプリは、コードインジェクションなどのアプリ改ざんリスクがあるため、従来のWAFによる防御が有効です。また、連携システムと生成AIシステムは、以下のようなケースに対する制御が必要となります。

• 機密情報や個人情報の入力

• 攻撃的あるいは差別的な発言

• プロンプトインジェクション

これらには生成AIの入出力値を検査できるLLM Guardrailが適しています。

さらに、LLMに対しては、サービスリリース前に脆弱性の有無を検査するAIモデルの診断が重要であり、AI Red Teamのソリューションが必要です。

そのほか、LLMとデータソース間においては、機密情報や個人情報を学習しないようにマスクする必要がありますが、これもLLM Guardrailの機能を活用することで対策が可能です。

LLM Guardrailの問題点

LLMに標準で搭載されているGuardrail機能では閾値の設定（なし/低い/真ん中/高い）が粗く、また企業のAI統制要件に合わせた設計をしようとすると人海戦術で一つずつルールを定義する必要があり、人件コストがかかります。

AI Red Teamの問題点

大手セキュリティベンダーが提供するAI Red Teamは、プロンプトインジェクションなどの攻撃対策に特化しているため、ハルシネーションや企業特有のコンテンツに対するテストには対応できないケースがあります。

6. 生成AIのセキュリティ対策にはDynamoGuardがおすすめ

生成AIの活用が本格化するなか、パブリックAIからエンタープライズAIまでを横断的に守れるセキュリティ対策が求められています。本章では、生成AIのセキュリティ対策としてDynamoGuardが選ばれる理由を解説します。

• DynamoGuardとは

• DynamoGuardの特徴

DynamoGuardとは

DynamoGuardとは、米国サンフランシスコに本拠を置くAIセキュリティ専門企業、Dynamo AI社が開発・提供しているソリューションです。同社は日本法人の設立を検討しており、日本語サポートにもいち早く対応しています。

企業のAI活用に伴うリスクを一元的に管理する統合プラットフォーム「Dynamo AI」は、DynamoGurardとDynamoEvalによって構成されています。

 DynamoGuardは、LLM Guardrailの機能を提供しており、生成AIの入出力値を監視して遅延なくリアルタイムにプロンプトの制御を行います。

DynamoEvalは「プロンプトインジェクションの脆弱性がないか」「ハルシネーションが発生していないか」などを評価・検査することが可能です。

DynamoGuardの特徴

DynamoGuardは、企業のAI統制要件に合わせたGuardrailの定義が可能であり、「競合他社の情報を入出力させない」といった企業独自のコントロールを行えます。多くの海外セキュリティベンダーが日本語に対応していませんが、DynamoGuardは多言語サポートしており、日本語でもスムーズに利用できる点が特徴です。

パブリックAI（Proxy）とエンタープライズAI（API連携/オンプレミス）の両方に対応しており、自社のAIサービスに適した形式を選択可能です。また、ハルシネーションの制御も行えるため、「入出力に対して違和感がないか」「RAGの情報と回答に矛盾がないか（エンタープライズAIの場合）」といった整合性をチェックできます。

7.まとめ

生成AIは業務効率化や高度化を実現する一方で、情報漏えいやハルシネーション、プロンプトインジェクションなど、従来型とは異なるセキュリティリスクを伴います。特にエンタープライズAIでは、システム全体を俯瞰した対策が不可欠です。

既存セキュリティ製品には有効な領域と限界が存在し、生成AI特有のリスクには専用の対策が求められます。DynamoGuardは、AIの入出力を可視化・制御し、組織のAIガバナンスを強化することで、安全な生成AI活用を支援します。

生成AIセキュリティの強化を検討されている方は、お気軽に当社までお問い合わせください。