生成AIのセキュリティは何で決まる？｜ツール選びより先に見る3層

生成AIのツールを比べている段階でも、生成AIのセキュリティは、ツールの安全性に加えて、会社が決める設定・入力ルール・権限の3層で決まります。

ツールを替えても、入力ルールと権限の層が空いたままなら、その2層の事故は減りません。

AIにファイルの操作まで任せる場合の守り方は、Claude Code セキュリティの4層設計で扱っています。

この記事の要点は3つ

1. 生成AIのセキュリティは、ツールの安全性に加えて、会社がツールの上に重ねる設定・入力ルール・権限の3層で決まります
2. この記事で取り上げる公知の生成AIのセキュリティ事故と脆弱性4件のうち、3件は会社側の3層のどれかで被害の範囲が決まっています。残る1件は提供元の不具合で、3層の外にあります
3. 会社で最初に整えるのは入力ルールの層です。3層それぞれが足りているかは、はい・いいえで答えられる1つの問いで確かめられます

社内の使い方とセキュリティの判断を研修でそろえる場合の費用の目安は、料金試算（助成金対応）で企業規模と人数から出せます。

料金を試算する（助成金対応） ▶

この記事は、Claude Codeのセキュリティ設定を情シス・管理者向けの講座で扱う研修運営の側から、社内で生成AIを使う会社に向けて書いたもので、生成AIを開発・提供する側のモデルの対策には当てはまりません。

「入力したデータは AI の学習に使われる？」

「セキュリティ統制はどうする？」

「勝手に危険なことをしない？」

答えは、どのツールを使うかより、会社が3つの層で何を決めたかで変わります。

この記事でわかること

• 生成AIのセキュリティを決める3層と、ツールを替えても入力ルールと権限の事故が減らない理由
• 生成AIのセキュリティリスクを、3層のどこで受けるかで振り分ける方法
• 公知の生成AIのセキュリティ事故と脆弱性4件で、被害の範囲を決めた層
• AI事業者ガイドライン第1.2版などの公的な指針が、利用者に求めていること
• 最初に手を入れる層と、層ごとの判断基準
• 3層では解けない事故と、その受け方

目次

1. 生成AIのセキュリティは何で決まるか｜設定・入力ルール・権限の3層
2. 生成AIのセキュリティリスクは、3層のどこかで受ける
3. 生成AIのセキュリティ事故｜公知の事故と脆弱性4件で、被害の範囲を決めた層
4. 生成AIのセキュリティガイドライン｜公的な指針は利用者に何を求めているか
5. 生成AIのセキュリティ対策は、層ごとの判断基準で確かめる
6. 生成AIのセキュリティで、この記事で解けないこと
7. 企業の生成AIセキュリティに関するよくある質問
8. 生成AIのセキュリティ｜総括表
9. あわせて読みたい
10. まとめ｜生成AIのセキュリティは何で決まるか

生成AIのセキュリティは何で決まるか｜設定・入力ルール・権限の3層

生成AIのセキュリティで会社が受け持つのは、提供元が守るツールの上に重ねる、設定・入力ルール・権限の3つの層です。各層は、社員が生成AIを使うたびに出てくる問いに1つずつ答えます。

設定・入力ルール・権限の3層は、それぞれ「どこに残るか」「何を渡すか」「どこまで読むか」の問いに答えます。

ツールを替えても入力ルールと権限の事故が減らない理由｜2つの層はツールに付いてこない

ツールを法人向けのものに替えると、変わるのは設定の層です。学習に使わない契約や管理者の画面など、会社が選べる設定の項目が増えます。

一方で、どの情報を入れてよいかと、AIにどこまで読ませるかは、どのツールにも初めから入っていません。会社が決めて社員に渡すまで、入力ルールと権限の2層は空いたままです。

ツールの乗り換えで変わるのは設定の層の選択肢までで、入力ルールと権限の層は会社が決めない限り空いたままです。

この形は、研修の商談でもよく見えます。安全に使えるかが最初の関門になる会社では、現場はすでにAIを触っているのに、セキュリティの懸念と社内ルールが整っていないことで、全社への展開が止まっている状態がよくあります。

3層は、この記事が使う整理の分け方

設定・入力ルール・権限の3層は、生成AIを使う会社が決めることを、社員が使うたびに出る問いで分けた、この記事の整理です。公的な基準や規格の名前ではありません。

チャットで文章を作る使い方なら、この3層で見渡せます。AIにファイルの操作やコマンドの実行まで任せる場合は、AIを動かす端末と、実行を承認する人の判断も守る場所に加わるため、記事の後半「この記事で解けないこと」で扱います。

生成AIのセキュリティリスクは、3層のどこかで受ける

生成AIのセキュリティリスクとして挙がる項目の多くは、設定・入力ルール・権限の3つの層のいずれかに振り分けられます。振り分けると、そのリスクを受け持つのが契約と設定なのか、社内の線引きなのか、AIに渡した権限なのかが分かれます。

IPAが2026年1月29日に発表した「情報セキュリティ10大脅威 2026」の組織編では、「AIの利用をめぐるサイバーリスク」が初めて選ばれ、3位に入りました。この順位は、約250名で構成する「10大脅威選考会」の投票で決まったもので、被害の件数や発生率を数えた統計ではありません。それでも、AIの利用が、1位のランサム攻撃による被害や、2位のサプライチェーンや委託先を狙った攻撃と同じ一覧に並ぶ組織の論点になったことは、この順位から読み取れます。IPAはこのリスクの中身として、不十分な理解に起因する意図しない情報漏えいや権利侵害、AIの結果の鵜呑み、悪用による攻撃の容易化を挙げています。

このうち、意図しない情報漏えいは3層で受ける範囲です。AIの結果の鵜呑みと権利侵害は、出力をどう確かめて使うかの問題で、この記事の後半で3層の外として扱います。悪用による攻撃の容易化は、攻撃者がAIを悪用する側の脅威で、この記事の範囲の外です。

表の振り分けは、そのリスクを「主に」受ける層です。実際には、1つのリスクを2つ以上の層で重ねて受けます。

研修の商談で聞かれる3つのリスクも、3層に分かれる

Claude Codeの研修の商談で、導入を検討する会社から共通して聞かれることを、研修運営は上位5つに整理しています。その1つ目がセキュリティで、中身は勝手な削除・機密の外部送信・不正な外部パッケージの3つのリスクです。

3つを層に分けると、勝手な削除は権限、機密の外部送信は入力ルールと権限、不正な外部パッケージは設定と権限の層で受けます。3つとも権限の層が入るのは、Claude CodeがAIにファイルやツールの操作まで任せる道具だからです。チャットで文章を作るだけの使い方なら、重心は入力ルールと設定の層に寄ります。

生成AIのセキュリティ事故｜公知の事故と脆弱性4件で、被害の範囲を決めた層

この記事で取り上げる公知の生成AIのセキュリティ事故と脆弱性4件を、被害の範囲をどの層が決めたかで当てると、3件は会社の側の層、1件は提供元の側でした。4件は、報道や提供元の公表で経緯を確かめられるものです。層に当てると、会社が決めていれば小さくできたものと、会社の側では範囲を決められないものが分かれます。

公知の事故と脆弱性4件のうち3件は、入力ルール・設定・権限のどれかの層で被害の範囲が決まっています。

① 入力ルールの層｜社内のソースコードを外部の生成AIに貼った（2023年）

2023年5月2日のBloombergの報道によると、韓国のサムスン電子は、社員が機密のソースコードをChatGPTにアップロードしたことが分かったあと、社有のパソコン・タブレット・スマートフォンと社内ネットワークでの生成AIの利用を禁止しました。禁止の対象はChatGPTに限らず、ほかの生成AIのサービスにも及びます。

同社は理由として、外部のAIサービスに送ったデータは提供元のサーバーに保存され、取り出しや削除が難しく、他のユーザーに開示されるおそれがあることを挙げています。禁止を知らせた社内の通知でも、同社は社員にセキュリティのガイドラインを守るよう求めていました。

3層に当てると、この件で被害の範囲を決めたのは入力ルールの層です。文書の規定は、貼る瞬間の判断に届いて初めて働きます。

② 設定の層｜共有リンクの会話が検索結果に出た（2025年）

ChatGPTでは、会話の共有リンクを作るときに、検索エンジンでの表示を許可するチェックを入れると、その会話が検索結果に表示される状態になっていました。2025年7月末に、個人的な内容を含む会話が検索結果に出ていると指摘され、OpenAIの最高情報セキュリティ責任者が7月31日にこの機能の削除を発表しています。

共有リンクは、URLを知っている人なら開ける形で作られます。検索エンジンでの表示は既定では無効で、検索結果に出たのは、利用者がチェックを入れた会話です。3層に当てると、この件で被害の範囲を決めたのは設定の層で、学習に使わない設定を確かめるだけでは防げない種類です。

共有や公開の範囲は、共有するときの選択と、アカウントや組織の設定で変わります。個人と会社で設定の範囲がどう変わるかは、Claude セキュリティ設定の4項目で項目ごとに整理しています。

③ 権限の層｜AIが読める範囲から情報を持ち出させうる脆弱性（2025年）

2025年6月、Microsoft 365 Copilotで、細工したメールを送っておき、利用者がCopilotに普段どおり質問すると、Copilotが読める範囲の社内の情報を外部へ持ち出させうる脆弱性「EchoLeak」（CVE-2025-32711）が公表されました。報告したのはセキュリティ企業のAim Securityで、利用者がリンクを押すなどの操作をしなくても成立する形でした。

Microsoftは修正済みで利用者側の対応は不要とし、悪用された形跡は無いと説明しています。持ち出されうる範囲として挙げられたのは、メール・SharePoint・Teamsなど、Copilotが業務のために読んでいる社内の情報でした。

脆弱性そのものは提供元の製品にあり、Microsoftが修正しました。持ち出されうる範囲を決めていたのは、Copilotに読ませていた社内の範囲です。3層に当てると、これは権限の層が被害の範囲を決める例です。仕込まれた指示でAIが動いたとき、外に出うる範囲は、AIに読ませている範囲で決まります。

④ 3層の外｜提供元の不具合で、ほかの利用者の情報が見えた（2023年）

2023年3月20日、ChatGPTで、オープンソースのライブラリ「redis-py」の不具合により、ほかの利用者の会話履歴のタイトルが見える状態が起きました。OpenAIの公表では、同じ日の9時間の間に利用していたChatGPT Plusの購読者のうち1.2%について、氏名・メールアドレス・請求先住所・カードの種類・カード番号の下4桁・有効期限が、ほかの利用者に見えた可能性があります。カード番号の全桁は含まれていません。

3層に当てると、これは会社側のどの層でもなく、提供元の側で起きた事故です。見えた可能性がある支払い情報は、会社の3層では範囲を決められません。会社にできるのは、会話の中身のように入力で渡すものを、入力ルールで小さくしておくことまでです。

生成AIのセキュリティガイドライン｜公的な指針は利用者に何を求めているか

生成AIのセキュリティに関する公的なガイドラインも、利用者に求めている事項は3層に振り分けて読めます。どの資料のどの主体向けの項目かを確かめてから読むと、自社に関係する行だけを拾えます。

総務省と経済産業省の「AI事業者ガイドライン」は、AIに関わる事業者を開発者・提供者・利用者に分けて、それぞれが取り組む事項を示しています。2026年3月31日に第1.2版が公表されており、社内で生成AIを使う会社が読むのは、第5部「AI利用者に関する事項」です（第1.2版 p.40〜41）。

層の列は、この記事の3層に当てた整理です。ガイドライン自体が3層で書かれているわけではありません。

同じガイドラインは、共通の指針「5) セキュリティ確保」で、推論用データに微細な情報を混入させることで意図しない判断が行われる可能性を踏まえ、「AI システム・サービスの脆弱性を完全に排除することはできないことを認識する」としています（第1.2版 p.19）。3層は、事故の起きやすさと被害の大きさを下げる手当てで、事故をなくす保証ではありません。

同じ頁の注で触れられている総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」（2026年3月）は、AI開発者とAI提供者に向けた技術的対策の整理です。利用者の立場の会社が、最初に読む資料ではありません。

ファクトボックス｜生成AIのセキュリティで利用者に関わる公的資料

個人情報の注意喚起は、入力ルールと設定を組にして求めている

個人情報保護委員会は2023年6月2日の注意喚起で、個人情報取扱事業者に対し、個人情報を含むプロンプトを入力するときは、利用目的を達成するために必要な範囲内かを十分に確認するよう求めました。あわせて、本人の同意なく個人データを含むプロンプトを入力し、それが応答結果の出力以外の目的で扱われる場合は、個人情報保護法の規定に違反することとなる可能性があるとしています。

そのため、こうした入力をする場合は、提供事業者が個人データを機械学習に利用しないこと等を十分に確認するよう求めています。入れてよい情報を決める入力ルールは、入れた情報がどこに残り何に使われるかを確かめる設定の層と組になって、初めて成り立ちます。

生成AIのセキュリティ対策は、層ごとの判断基準で確かめる

生成AIのセキュリティ対策で、会社が最初に手を入れるのは入力ルールの層です。3つの層を具体的にどの順番で決め、誰が決めるかは、Claude セキュリティ対策を決める順番にまとめています。この記事では、層ごとに「足りているか」を確かめる判断基準までを示します。

層ごとの判断基準｜足りているかを1つの問いで確かめる

3つの問いは、どれも「はい」か「いいえ」で答えられる形にしてあります。「いいえ」が付いた層が、会社の側で空いている層です。

権限の層で書き込みの権限を渡したまま任せると、情報が漏れるだけでなく、消える・変わる形の事故も起きます。当社の社内で実際に起きた例と、そこから変えたルールは、生成AIの情報漏洩リスクと対策｜漏れる経路は3つしかないに書いています。

研修では、管理者向けの講座と全員が受ける回に分けて扱う

研修では、管理者向けの別冊の講座と、受講者全員が受ける第2回に分けて扱っています。

この分け方を3層で見ると、設定の層と、AIに何をつなぐかという権限の枠は管理者が決め、入力ルールと、AIに任せてよいかの判断は、生成AIを使う全員が毎回使います。管理者がツールの設定だけを整えても、貼る瞬間と任せる瞬間の判断が全員に届いていなければ、入力ルールと権限の層は埋まりません。

管理者向けの設定と、全員が使う判断の基準を研修で一度にそろえる場合は、料金試算（助成金対応）で企業規模と人数から費用の目安を確かめられます。

料金を試算する（助成金対応） ▶

生成AIのセキュリティで、この記事で解けないこと

生成AIのセキュリティ事故のうち、設定・入力ルール・権限の3層で下げられるのは、会社の側で起きるものまでです。次の3つは、3層の外に残ります。

提供元の不具合・出力の誤り・AIが作業まで行う場合は、3層とは別の手当てで受けます。

提供元の側で起きる不具合

2023年3月のChatGPTの件のように、提供元のシステムの不具合で起きる事故は、会社の3層では止められません。会社にできるのは、入力ルールで外に出うる中身を小さくしておくことと、提供元が不具合と対応をどう公表しているかを、導入前に確かめておくことです。

出力の誤りと、他人の権利の侵害

生成AIの出力に誤りが混じることや、出力が他人の権利を侵害することは、IPAの10大脅威でも、AIの結果の鵜呑みや権利侵害として挙がっています。これは、情報の出入りを守る3層の外にあり、出力をどう確かめて使うかによって受ける問題です。

AIに作業まで任せる場合

生成AIが文章を返すだけでなく、ファイルの操作やコマンドの実行まで行う場合は、AIを動かす端末と、実行を承認する人の判断も守る場所に加わります。この場合の守り方は、端末・コード設定・運用ルール・人の4層で整理したClaude Codeのセキュリティは大丈夫？企業導入の不安と、事故を防ぐ設計で扱っています。

AI事業者ガイドラインも第1.2版で、AIエージェントを「特定の目標を達成するために、環境を感知し自律的に行動する AI システム」と定義しています（p.11）。AIが自分で動く範囲が広がるほど、この記事の3層だけでは見渡せない部分が増えます。

企業の生成AIセキュリティに関するよくある質問

Q. 法人向けプランにすれば、生成AIのセキュリティは足りますか

A. 法人向けプランで整うのは、主に設定の層です。学習に使わない条件や管理者の画面が用意されていても、何を入れてよいかと、AIにどこまで読ませるかは、会社が別に決める必要があります。

Q. 無料版の生成AIを、業務で使ってもよいですか

A. 会社が設定を確かめられないアカウントでの業務利用は、設定の層が空いた状態です。入れてよい情報を公開済みの情報に限るなど、入力ルールで範囲を絞る方法はありますが、機密情報や個人情報を扱う業務には向きません。

Q. 生成AIの利用を禁止すれば、セキュリティ事故は防げますか

A. 禁止は、3層を作る代わりに、利用そのものを止める方法です。社員が個人のアカウントで使い続ければ、会社から見えない場所で入力が起きるため、禁止だけでは防げません。禁止を解く順番は、「生成AI禁止」が一番危ない｜シャドーAIが生まれる構造と、禁止を解除する順番に書いています。

Q. プロンプトインジェクションは、設定で防げますか

A. プロンプトインジェクションは、防ぎきれない前提で考えます。AI事業者ガイドライン第1.2版も、AIシステム・サービスの脆弱性を完全に排除することはできないと認識するよう求めています。会社の側でできるのは、権限の層でAIが読める範囲と実行できる操作を絞り、仕込まれた指示で動いたときの被害を小さくすることです。

Q. 社員研修をすれば、入力ルールは守られますか

A. 研修で渡せるのは、入れてよいかを判断する基準までです。守られているかは、迷ったときに引ける1枚があるかと、設定や権限の側で止められる操作を止めているかで確かめます。

Q. どの層から手を付ければよいですか

A. 最初に手を入れるのは、入力ルールの層です。3つの層を決める順番と担当は、対策の章で紹介した記事にまとめています。

生成AIのセキュリティ｜総括表

あわせて読みたい

関連記事Claude Codeのセキュリティは大丈夫？企業導入の不安と、事故を防ぐ設計記事を読む ▶ 関連記事セキュリティを担保したまま生成AIを全社導入する｜広げると壊れる層と、その順番記事を読む ▶ 関連記事生成AIの情報漏洩リスクと対策｜漏れる経路は3つしかない記事を読む ▶

まとめ｜生成AIのセキュリティは何で決まるか

企業の生成AIのセキュリティを左右するのは、どのツールを選んだかより、そのツールの上で会社が何を決めたかです。決める場所は、入れた情報が残る場所の設定、渡してよい情報の入力ルール、AIが読んで動ける範囲の権限の3つに分かれます。

明日からの一手として、次の3つを挙げます。

1. 今日：層ごとの判断基準の表にある3つの問いに、自社の今の状態で「はい」か「いいえ」を付ける
2. 今週中：「いいえ」が付いた層について、足りていないサインに当てはまる場面を1つずつ書き出す
3. 今週中：生成AIとつないでいる社内ツールを挙げ、読むだけか、書き込みや削除までできるかを分けて書く

どれも7割の完成度で構いません。空いている層が見えることが先です。

最後に、社内で自分に問える1問を置きます。御社でいちばん使われている生成AIについて、「入れてよい情報」「入れた情報が残る場所」「AIが読める範囲」の3つを、いま1分で答えられますか。

3層を社内でそろえる研修の費用の目安は、料金試算（助成金対応）で企業規模と人数から出せます。

料金を試算する（助成金対応） ▶

自社の使い方に当てはめて相談したい場合は、初回無料体験講座（無料・30分）を申し込むもご利用ください。

無料体験講座を申し込む ▶

この記事の要点

• 生成AIのセキュリティは、ツールの安全性に加えて、会社がツールの上に重ねる設定・入力ルール・権限の3層で決まります
• この記事で取り上げる公知の生成AIのセキュリティ事故と脆弱性4件のうち、3件は会社側の3層のどれかで被害の範囲が決まっています。残る1件は提供元の不具合で、3層の外にあります
• 会社で最初に整えるのは入力ルールの層です。3層それぞれが足りているかは、はい・いいえで答えられる1つの問いで確かめられます

出典・注記

• 総務省・経済産業省「AI事業者ガイドライン（第1.2版）」令和8年3月31日 https://www.soumu.go.jp/main_content/001064279.pdf 。AI利用者に関する事項は第5部 p.40〜41（U-2)i・U-4)i・U-5)i と第5部冒頭）、「脆弱性を完全に排除することはできないことを認識する」は共通の指針「5) セキュリティ確保」p.19、AIエージェントの定義は p.11。頁は本文下端の頁番号による。総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」（2026年3月）は同 p.19 の注41による（2026年9月25日参照）
• 個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」令和5年6月2日 https://www.ppc.go.jp/files/pdf/230602_alert_generative_AI_service.pdf （2026年9月25日参照）
• 独立行政法人情報処理推進機構（IPA）「情報セキュリティ10大脅威 2026」プレス発表 2026年1月29日 https://www.ipa.go.jp/pressrelease/2025/press20260129.html 。順位は約250名の「10大脅威選考会」の投票によるもので、被害件数や発生率の統計ではありません（2026年9月25日参照）
• サムスン電子の件は、Bloomberg「Samsung Bans Staff's AI Use After Spotting ChatGPT Data Leak」2023年5月2日 https://www.bloomberg.com/news/articles/2023-05-02/samsung-bans-chatgpt-and-other-generative-ai-use-by-staff-after-leak 、Forbes JAPAN「サムスン、ChatGPTの社内使用禁止 機密コードの流出受け」2023年5月3日 https://forbesjapan.com/articles/detail/62905 による（いずれも2026年9月25日参照）
• ChatGPTの共有リンクの件は、OpenAIの最高情報セキュリティ責任者によるXへの投稿 2025年7月31日 https://x.com/cryps1s/status/1951041845938499669 、The Register「OpenAI removes ChatGPT self-doxing option」2025年8月1日 https://www.theregister.com/2025/08/01/openai_removes_chatgpt_selfdoxing_option/ 、Malwarebytes「OpenAI kills "short-lived experiment" where ChatGPT chats could be found on Google」2025年8月 https://www.malwarebytes.com/blog/news/2025/08/openai-kills-short-lived-experiment-where-chatgpt-chats-could-be-found-on-google による（いずれも2026年9月25日参照）
• EchoLeak（CVE-2025-32711）は、Microsoft Security Response Center「M365 Copilot Information Disclosure Vulnerability（CVE-2025-32711）」2025年6月11日 https://msrc.microsoft.com/update-guide/vulnerability/CVE-2025-32711 、The Hacker News「Zero-Click AI Vulnerability Exposes Microsoft 365 Copilot Data Without User Interaction」2025年6月12日 https://thehackernews.com/2025/06/zero-click-ai-vulnerability-exposes.html による（2026年9月25日参照）
• 2023年3月20日のChatGPTの不具合は、OpenAI「March 20 ChatGPT outage: Here's what happened」2023年3月24日 https://openai.com/index/march-20-chatgpt-outage/ と、BleepingComputer「OpenAI: ChatGPT payment data leak caused by open-source bug」 https://www.bleepingcomputer.com/news/security/openai-chatgpt-payment-data-leak-caused-by-open-source-bug/ による。1.2%の分母は、9時間の間に利用していたChatGPT Plusの購読者です（2026年9月25日参照）
• 設定・入力ルール・権限の3層は、この記事の整理のための分け方です。公的な基準や規格ではありません。公知の事故とガイドラインの項目を3層に当てた対応は、本記事の解釈です
• 本記事は、社内で生成AIを使う会社の側の考え方を示すもので、生成AIを開発・提供する側の対策と、生成AIのセキュリティ上のリスクのすべてを網羅するものではありません。 どの層を整えても、事故が起きないことを保証するものではありません
• 研修の商談で共通して聞かれることの整理、安全に使えるかが最初の関門になる会社によくある状態、研修でのセキュリティの扱い（管理者向けの別冊の講座と第2回）は、当社の自社情報です。個々の企業名は記載していません
• 本記事は2026年9月25日時点の情報にもとづきます。各サービスの機能と規約は改定されるため、自社で使うサービスの最新の規約と管理画面でご確認ください

この記事について

DAIJOBUは、ソフトウェアテスト・品質保証と脆弱性診断を本業としながら、法人向けにClaude Code研修を提供している会社です。研修では、情シス・管理者向けの講座でセキュリティの設定を扱っています。本記事は、生成AIのセキュリティを「ツールの上で会社が何を決めたか」で3層に分け、公的な資料・報道・提供元の公表で確かめられる事実と、当社の研修での扱いを分けて書いたものです。