Cisco AI Defense:AI モデルとアプリケーションの検証

AI 検証でモデルの脆弱性を特定

セキュリティと安全性のリスクがないかどうか、AI モデルを自動的にテストします。

モデルが安全でセキュアであることに確信を持つ

AI モデルとアプリケーションの検証では、モデルの安全性とセキュリティの脆弱性の評価がアルゴリズムによって自動的に実行され、AI 脅威リサーチチームによって継続的に更新されます。そして、新たな脅威によるアプリケーションへの影響の程度を理解し、AI ランタイムガードレールによって保護できるようになります。

AI サプライチェーン攻撃からの保護

開発者は、Hugging Edge や GitHub などのパブリックリポジトリからモデルやデータをダウンロードしますが、これは意図せずに組織を大きなリスクにさらします。AI 検証は、オープンソースモデル、データ、ファイルを自動的にスキャンし、環境内で任意のコード実行を可能にする悪意のあるモデルファイルなど、サプライチェーンの脅威をブロックします。新しいモデルをレジストリに追加すると、シンプルな API コールを使用して評価を開始できます。

モデルの脆弱性の発見

アプリケーションを強化するために選択したモデルには、安全性とセキュリティへの影響があります。AI 検証では、200 のカテゴリにわたり、アルゴリズムによって生成されたプロンプトを使用してモデルをテストします。これにより、プロンプトインジェクションやデータポイズニングのような悪意のある行為や意図しない結果に対する影響の受けやすさを探します。この機能は実稼働環境にあるモデルにも及び、既存のモデルの新たな脆弱性を自動的に検出して、パッチを適用できます。

モデル固有のガードレールの生成

サードパーティのガードレールを使用することで、AI アプリケーションを、悪いデータでの学習、悪意のあるリクエストへの応答、意図しない情報の共有から保護できます。AI 検証により、各モデルで検出された特定の脆弱性に合わせたガードレールが自動的に生成されるため、その有効性が向上します。これらのルールは、企業が属する業界、ユースケース、優先事項に合わせてさらに修正できます。

AI セキュリティ標準を組織全体に自動的に適用する

モデルの検証ステータスを特定

AI クラウドの可視性は、環境内のどのモデルを検証する必要があるかを自動的に検出し、ダッシュボードから直接 AI 検証を開始できます。

モデルのライフサイクル全体で AI セキュリティを自動化

モデルの最初の評価が完了すると、AI 検証は、モデルがセキュアかつ安全に使用されるように追加のプロセスを実行します。

レポートの自動化でコンプライアンスを簡素化

業界および規制標準にテスト結果を対応させたわかりやすい脆弱性レポートを自動的に作成します。

組織において AI セキュリティの卓越性を実現

AI Defense は、OWASP Top 10 for LLM Applications を含む AI セキュリティ標準への準拠を容易にします。MITRE、NIST、OWASP の標準への対応をはじめ、個々の AI リスクについては、AI セキュリティのタクソノミー(taxonomy)をご覧ください。

アプリケーションの基盤となるモデルをテストする

基盤モデル

基盤モデルは今日、ほとんどの AI アプリケーションの中核をなし、ファインチューニングを経て修正されたもの、または専用に構築されたもののいずれかがあります。モデルを安全でセキュアに保つためには、どのような課題に取り組む必要があるのかを紹介します。

RAG アプリケーション

検索拡張生成(RAG)は、急速に、LLM アプリケーションに豊富なコンテキストを追加するための標準になりつつあります。RAG の具体的なセキュリティと安全性への影響について紹介します。

AI チャットボットとエージェント

チャットボットは人気のある LLM アプリケーションであり、ユーザーに代わってアクションを実行する自律エージェントも登場し始めています。セキュリティと安全性のリスクについて紹介します。


関連情報

AI の安全性およびセキュリティのタクソノミー(taxonomy)

定義、緩和策、標準の分類から、生成 AI に対する脅威の状況を把握できます。

LLM のファインチューニングにより、取れなくなる安全性とセキュリティの整合性

シスコの調査によると、ファインチューニングを行ったモデルではジェイルブレイク(脱獄)が 3 倍発生しやすく、有害な応答を引き起こす可能性が 22 倍以上高くなります。

AI セキュリティの参照アーキテクチャ

LLM 搭載アプリケーションを開発しているチームのための安全な設計パターンおよびプラクティスです。

シスコの責任ある AI の原則

シスコは、人工知能や新たに登場した技術の保護に取り組んでいます。

企業に最適な AI セキュリティ

環境全体の包括的な保護により、AI のセキュリティギャップに対処し、AI トランスフォーメーションの障壁を取り除きます。