生成AI活用のリスクをどう防ぐか｜AIセキュリティの基礎

1．生成AIの普及で膨らむAIのセキュリティリスク

生成AIをはじめとするAIは、ビジネスのあらゆる領域に浸透しつつあります。

CTCの調査レポート「AI市場動向レポート2025」（2025年6月発行）によれば、日本企業における生成AIの導入率は75.3％に達し、広範な業界でその活用が進みつつあるといいます。

日本の企業におけるAIの導入状況

■業種別の導入率

資料：CTC「AI市場動向レポート2025」（2025年6月発行）
https://www.ctc-g.co.jp/keys/download/ai-market-report-2025

また、生成AI（あるいはAI）の用途も業務の自動化・効率化をはじめ、情報検索の合理化、文書作成の自動化などとさまざまで、いまや日常的な業務プロセスに生成AIなどのAIが組み込まれつつあるといえるでしょう。

このようにAIの業務での利用が一般化するなかで浮上してきたのがセキュリティリスクです。独立行政法人 情報処理推進機構（IPA）がまとめた「AI利用時のセキュリティ脅威・リスク調査」調査報告書（2024年7月4日発行）によれば、AIのセキュリティに脅威を感じている組織は60.4％に上るといいます。つまり、AI活用を進める企業の多くが、利便性とリスクの板挟みに直面しているのです。

AIのセキュリティリスクに関する脅威の度合い

出典：独立行政法人 情報処理推進機構（IPA）「AI利用時のセキュリティ脅威・リスク調査」調査報告書（2024年7月4日発行）https://www.ipa.go.jp/security/reports/technicalwatch/eid2eo00000022sn-att/report.pdf 
※上記資料より引用

2．AI活用を巡る3大リスク

IPAによれば、AI活用を巡るセキュリティリスクは大きく3つに分類できるといいます。

（1）情報流出リスク

例えば、生成AIはユーザーが入力したプロンプト（指示文）を外部の学習モデルが処理する仕組みです。ゆえに、ユーザーが入力した内容に機密情報や個人情報が含まれていると、それが意図せず外部に漏えいしてしまうリスクがあります。実際、「社内資料やソースコードを生成AIに入力してしまい、機密情報の流出リスクを高めてしまった」という事例が国内外で報告されています。

【インシデント発生の要因】

生成AIなどに社内資料やソースコードを入力してしまい、機密情報を流出させてしまう（あるいは、そのリスクを高めてしまう）というインシデントは国内外でさまざまに報告されています。例えば、海外では2023年、ある半導体メーカーの開発者が社外秘のソースコードを「ChatGPT」に入力してしまい、外部に流出させてしまうというインシデントを引き起こしました。また国内でも、業務報告文書をAIで要約する際に社外のAPIに文書を送信してしまうというインシデントが起きています。

このようなインシデントは、AIツールの利便性が高いほど起きやすく、後述するAI活用の規定や情報入力のルールを整備していない組織で起こりやすいものです。

（2）著作権・知的財産権への侵害リスク

このリスクは、生成AIなどが参照する情報の出典元やライセンス関係が不明確なまま、AIが生成したコンテンツをそのまま業務上（あるいはビジネス上）の成果物として使用してしまうことで顕在化しやすいものです。実際、マーケティング資料や報道文書を、生成AIを使って作成した場合、法的トラブルやブランド毀損につながることがあります。

【インシデント発生の要因】

生成AIには、コンテンツ生成のためのナレッジベースとして他者の著作物を活用する可能性があります。実際、他者の著作物をもとにAIが生成したコンテンツを無断で使用した結果、「知らないうちに第三者の権利を侵害していた」というインシデントも起きています。このようなインシデントを起こしてしまう大きな要因の1つは、AIのアウトプットを“人が検証する仕組み”がないことです。AIに大きく依存したかたちでの業務の自動化は、信頼性のリスクを高めることにつながるのです。

（3）AI特化型サイバー攻撃リスク

生成AIなどのAIには、AIモデルそのものがサイバー攻撃の標的になるリスクがあります。実際、AIの学習過程を汚染する「データポイズニング」や、生成AIに対するプロンプト経由で意図しない動作を誘発する「プロンプトインジェクション」など、AIに特化した攻撃手法も登場しています。

加えていえば、生成AIに使わせるナレッジベースとして、社内の機密情報や顧客情報を活用しているとしましょう。この場合、生成AIツールのアカウントが不正に使用される（あるいは、サイバー攻撃によって乗っ取られること）で、社内の重要情報が簡単に窃取されてしまうリスクがあります。

【インシデント発生の要因】

上で触れたプロンプトインジェクションとは、生成AIに悪意ある命令（プロンプト）を仕込み、通常想定していない情報を引き出す手法であり、プロンプトインジェクションは、AIの学習データを汚染してAIのアウトプットを歪めるサイバー攻撃です。これらはAI（生成AI）ツールの構造的な特性を突いた攻撃であり、従来型のマルウェア対策やIDS/IPSでは検知しにくいといった特徴があります。ゆえに、これらの攻撃がセキュリティ侵害のインシデントを引き起こすリスクが高いといえます。

こうした問題への対応策として「OWASP Top 10 for Large Language Model (LLM) Applications（OWASP Top 10 大規模言語モデルアプリケーション）」などのフレームワークでは、複数の対策を組み合わせる多層防御フレームワークを推奨しています。

3．AIのセキュリティリスクを膨らませる組織の問題

上記のようなリスクが深刻化しつつある背景には、生成AIをはじめとするAIの急速な利用の広がりに「セキュリティ規則」や「体制の整備」が追いついていない現状もあります。

例えば、先に触れたIPAの調査報告書を見ても、日本の組織の中で「生成AI利用に関する規則・体制を策定、明文化している」ところは全体の20％未満にとどまっています。

出典：独立行政法人 情報処理推進機構（IPA）「AI利用時のセキュリティ脅威・リスク調査」調査報告書（2024年7月4日発行）https://www.ipa.go.jp/security/reports/technicalwatch/eid2eo00000022sn-att/report.pdf
※上記資料より引用

つまり、多くの企業が生成AIを業務に活用しながらも、その安全な活用を担保するための基盤づくりが進んでいないということです。

AI（特に生成AI）は、非常に便利で応用範囲の広い技術です。ただし一方で「AIに入力したデータが、どこで、どのように処理されるのか」や、AIがどの情報をどう使い、アウトプットを生成したのか」が見えにくいというネックがあります。ゆえに、AIに関しては活用のルールやリスク管理の仕組みを整えることが必須であり、急務といえるのです。

4．知っておきたいAI活用の原則

生成AI活用の安全性を担保するうえでは、公的機関が示す原則を理解しておくことも大切です。現在、IPAや経済産業省（以下、経産省）、総務省などの公的機関から、AI活用におけるリスクと対策を体系的に整理した資料が公開されています。それらの資料を読むと、「安全性」「透明性」「説明責任」の確保が、AI活用の大原則であることが理解できます。

（1）安全性：AIシステムの信頼性を維持する

AI活用に伴う主要な脅威として「入力データの不正取得」「生成結果の誤用」「学習モデルの改ざん」などが挙げられます。とりわけ、生成AIを社内業務で使うケースにおいては、社外のクラウドサービスにデータを送信する際の管理の不徹底や外部プラグイン経由での情報漏えいが大きなリスクとして顕在化しています。

こうしたリスクを低減させるためには、「AIモデルやAPIの開発・運用において、外部連携部分を可視化し、アクセス制御・監査ログの仕組みを導入すること」がセキュリティ確保の第一歩となります。

（2）透明性：AIが“なぜその判断をしたか”を説明できるようにする

経産省が2025年3月にリリースした「AI事業者ガイドライン」（第1.1版）では、AIを提供・活用する事業者に求められる原則の1つとして「透明性」を強調しています。

例えば、生成AIが生成したアウトプットは、学習データやアルゴリズムの特性に依存します。ゆえに、AIによる判断の根拠が不明確なまま業務で使用すると、誤情報の拡散や不適切な意思決定を招くリスクがあります。

ゆえに、企業はAIを業務プロセスに組み込む際に、「生成物がどのようなルール・データ・条件で作られたか」を説明できるようでなければなりません。この透明性の確保は、単に説明責任の問題にとどまらず、社内外の信頼を維持するための経営課題でもあります。

（3）説明責任：AI活用の“責任の所在”を明確にする

総務省が公表した「AI利活用ガイドライン」（2018年8月公開）は、AI活用における“責任の明確化”について言及しています。AIが自動生成したコンテンツに誤りや偏りが含まれていた場合、誰がその責任を負うのか。これを曖昧にしたまま運用を進めることがリスクにつながるからです。また、このガイドラインでは、AI導入企業が果たすべき役割として「AIの利用目的を明確化すること」「利用ポリシーや倫理規定を整備すること」「AIによる出力を人が最終確認するプロセスを設けること」などを推奨しています。

以上に示した3つの原則は、いずれも「AIの活用を止めるための制約」ではなく「安心して使うための設計指針」です。AI活用を推進するうえで重要なのは、セキュリティと利便性を対立させず、設計段階から“安全性・透明性・説明責任”を組み込むことです。

5．安全な生成AI活用に向けた「3つのステップ」

では、AIの安全な利用を実現するために、企業は具体的に何をどうすれば良いのでしょうか。企業が実践すべき対策はおおむね以下の3つのステップに集約できます。

ステップ①：AI活用のポリシーと運用体制を整備する

まず重要なのは、「誰が、何の目的で、どのようにAIを使うのか」を明文化することです。この段階で求められるのは、禁止事項を並べることではなく、「安全に使うための前提条件」を共有することです。例えば、「生成AIに入力してよい情報／禁止される情報の区分」「利用目的の範囲」「出力結果の確認プロセス」などを明文化し、運用部門とセキュリティ部門が連携して監督できる仕組みを整えることが基本となります。

また、AI活用の承認フローや監査ログの取得を社内システムに組み込むことで、後追い可能な透明性を確保できます。

ステップ②：入力・出力データのリスクを可視化する

次に取り組むべきは、AIが扱うデータの「リスクの見える化」です。そこでまず必要になるのは、入力するデータの特性・機密度を類別して、利用目的との整合性を持たせることです。より具体的には、例えば、入力するデータを「社外提供禁止」「社内限定」「匿名化済み」などに分類し、AIへの送信前に自動チェックする仕組みを導入するといった手法を導入します。

また、AIのアウトプットについても、それをそのまま外部と共有するようなことはせず「人によるレビュー」を必ず通す工程を標準化することが必須といえます。なお、そうしたプロセス設計・実装を支援する仕組みとして、AI監査ツールやプロンプト管理システム（Prompt Management Platform）などを活用するのも有効です。

例えば、今日では、企業向けにAIのプライバシーやセキュリティ、コンプライアンスを強化するソリューションとして、米国Dynamo AIが提供する仕組みへの注目度と関心が高まっています。同社はAIを活用したシステムのリスク評価から実装までを包括的に支援するソリューションプロバイダーです。例えば、同社のAI監査ツール「DynamoGuard」を活用することで、AIが誤った情報を生成する「ハルシネーション（幻覚）」を抑制し、AIチャットボットなどの信頼性向上につなげることが可能になります。

ステップ③：モデル・API・接続先の管理を徹底する

最後に必要なのが、技術的な統制と継続的なモニタリングです。例えば、生成AIの活用時には、外部のAPIやプラグインを通じて社内システムと連携させることがよくありますが、そうした連携ポイントがセキュリティ上の盲点となり、サイバー攻撃の標的にされることが多いといえます。そこで「外部接続の可視化」「通信の暗号化」「アクセス権限の最小化」などの施策を講じることが大切となります。

さらに、モデルやAPIの脆弱性を定期的に診断し、バージョン管理を含めた資産台帳を整備することが望ましいでしょう。これにより、AIシステムの構成要素を「ブラックボックス化」させず、リスクの所在を明確にすることができます。

このほか、AIを業務システムとして安全に運用していくうえでは、社内CSIRTやSOC（Security Operation Center）との連携も不可欠です。AI利用ログの監視や、異常なプロンプトリクエストの検知を自動化することで、AI環境を他のIT資産と同等に管理できるようになります。このように、人・プロセス・技術の三位一体でリスクを制御することが重要です。

6．「安全に使う」「安全を守る」これからのAIセキュリティ戦略

生成AIをはじめとするAIは、人の代替として機能するものではなく、人の能力を拡張してくれる存在であり、人の仕事をアシストしてくれるパートナーであり、アシスタントです。ゆえに、企業・組織で働くすべての人がそうであるように、AIも人によるマネジメントが必要であり、かつ、相応のルールと倫理観をもって、それを機能させなければなりません。例えば、AIが提示した分析結果をそのまま受け入れるのではなく、人がそれを検証し、誤検知や過剰反応を抑制するプロセスを設けなければならないわけです。

こうしたプロセスを築くうえでも、先に触れたDynamo AIのソリューションのように、AIを安全に活用するための仕組みが有効といえます。今後は、AIのソリューションを上手に使いながら、AIのセキュリティやガバナンスをとることが重要になってくるはずです。加えて、「AIを安全に使う」だけではなく、AIをセキュリティ運用に組み込み「AIで安全を守る」ことが、今後におけるあるべきセキュリティ戦略となりうるということです。

AI時代の今日では、この技術を巧みに活用できるかどうかで、市場における企業競争力が大きく左右されるといっても過言ではありません。だからこそ、多くの日本企業が、生成AIをはじめとするAIの活用に精力的に取り組んでいるといえます。その重要な取り組みにブレーキをかけないためにも「AI活用の安全の担保にAIを使う」という発想のもとで安全対策の拡充を図ってみてはいかがでしょうか。