AIセキュリティ対策10章 🔐
2025年4月28日
モデル改ざん・データ漏えい・逆摂動攻撃……。AIを業務に組み込むと露出する新しいリスクを10の章立てで網羅。ビジネス責任者でも腑に落ちるよう、脅威→対策→実装チェックリストをセットで整理しました。
章構成とクイックマップ
| 章 | 攻撃・脅威 | 主要対策 | 関連規格 |
|---|---|---|---|
| 1 | データ汚染 (Data Poisoning) |
データ検疫・ハッシュ検証 | ISO/IEC 27001 |
| 2 | モデル盗難 (Model Stealing) |
API Rate Limit・水印 | NIST SP 800-53 |
| 3 | 逆摂動攻撃 (Adversarial Example) |
防御的学習・入力サニタイズ | NIST RMF |
| 4 | 入力インジェクション (Prompt Injection) |
コンテンツフィルタ・RAG 並用 | OWASP LLM Top10 |
| 5 | 推論漏えい (Membership / Attribute Inference) |
差分プライバシー・DP-SGD | GDPR, CCPA |
| 6 | モデル改ざん | 署名付きモデル + Verify | SLSA |
| 7 | システム脆弱性 | SBOM・脆弱性スキャン | OWASP SAMM |
| 8 | 鍵・シークレット管理 | HSM / KMS / Vault | ISO/IEC 27017 |
| 9 | ロギング & インシデント対応 | 不正リクエスト検知 SIEM 連携 | NIST CSF v2 |
| 10 | 責任共有 & ガバナンス | 攻撃階層マトリクス・RACI | EU AI Act, NIST AI RMF |
データ汚染 — "ゴミを入れればゴミが出る"
サプライヤが納入するセンサーデータに悪意の行を混入
突然モデル精度が下落・特定クラスで異常
- ハッシュ値 / メタデータで データ整合性検疫
- Outlier Detection (Isolation Forest) を ETL に挿入
- DVC / LakeFS で データバージョン固定 → ロールバック
モデル盗難 — "中身を丸ごとコピー"
REST API へ大量クエリ ⇒ 重みを近似
- API レート制限 + 遅延
- クエリパターンを WAF/IDS で監視
- 水印 (Guard Model): 盗用モデルに特定パターンを出力
逆摂動攻撃 — "見えないノイズで誤判定"
| 攻撃手法 | 例 | 防御 |
|---|---|---|
| FGSM | 画像に微小ノイズ → STOP標識を最高速標識に | Adversarial Training |
| Patch | 物理シールで誤検出 | 入力ノイズ除去・多視点 Ensemble |
入力インジェクション (Prompt Injection)
LLM 特有: 「Ignore previous instructions…」で機密漏えい
- プロンプト分離 (システム / ユーザ)
- コンテンツフィルタ: OpenAI Moderation / self-host LLM
- RAG で外部知識に依存し過ぎない
推論漏えい
Membership Inference: "この患者データは学習に使われた？"
- 差分プライバシー学習 (DP-SGD, Opacus)
- 出力摂動 (ε-DP) でシグナルをぼかす
モデル改ざん
サプライチェーンリスク: 外部モデル / 重みファイル
- 署名付きモデル (cosign, Sigstore)
- SBOM に ML Asset を追加
- CI パイプラインで自動署名・検証
システム脆弱性
ライブラリ CVE: Torch <=1.13 の DLL 競合 etc.
- pip-audit, trivy, grype でイメージスキャン
- Dependabot で自動 PR & GitHub Actions テスト
鍵・シークレット管理
アンチパターン: `AWS_SECRET=` がソースに残る
- HashiCorp Vault / AWS KMS / Azure Key Vault
- "環境変数より Vault" をルール化
ロギング & インシデント対応
| 要素 | 例 |
|---|---|
| リクエストログ | 入力ハッシュ、ユーザID、応答ID |
| モデルメトリクス | レイテンシ、失敗率、精度ドリフト |
| SIEM 統合 | Splunk / ELK → PagerDuty で自動チケット |
責任共有 & ガバナンス
- RACI マトリクス で役割明確化 (Data, Model, Infrastructure)
- 攻撃階層マトリクス (MITRE ATLAS) を年次レビュー
- ドキュメンテーション: Model Card + Risk Register
📋 全章チェックリスト（縮約版）
- データ取り込み時に ハッシュ照合 & 異常検知
- API に レート制限 & WAF
- 逆摂動耐性テスト (AdvBox, CleverHans)
- Prompt Injection シナリオを Red Team 実施
- DP or 出力フィルタで推論漏えい対策
- 署名付きモデル & SBOM 生成
- CI/CD で CVE スキャン
- Secrets は Vault／KMS に保管
- ログ → SIEM → PagerDuty の監視ループ
- 年 1 回の AI リスクレビューと RACI 更新
🎯 まとめ
- AI セキュリティ は「モデル＋データ＋システム」の三位一体
- リスク分析 → 多層防御 → 運用監視 の 3 ステップで実装
- 規格・ガイドラインを"写経"ではなく 脅威ベースでマッピング すると抜け漏れが少ない
- 最初の一手は データ検疫 + モデル署名 の 2 点から。
Next Action: 自社モデルを pip-audit と cosign verify で今すぐ健康診断してみましょう！