対応領域: AIセキュリティ評価
担当: Joey Victorino — 本人が直接担当
前提条件: 書面による範囲設定 · ローンチ前、取引前、またはインシデント後 · デモではなく本番システム
お問い合わせ: joey@victori.no

資料の中のシステムではなく、実際に出荷したシステムのAIセキュリティ評価。

LLMアプリケーション、エージェント、または検索パイプラインが本番稼働中、あるいは稼働直前で、入力が悪意あるものだった場合の挙動を独立した立場で検証した者がいない。私がそれを検証し、背後のアーキテクチャを読み解き、何が持ちこたえ、何が持ちこたえなかったかを書面にします。

提供する業務

プロンプトインジェクションとOWASP LLM Top 10直接的および間接的なプロンプトインジェクション。ユーザー入力、取得された文書、ツールの結果、メール、ウェブコンテンツを経由するもの。加えてOWASP Top 10 for LLM Applicationsの残りの項目。安全でない出力処理、機微情報の開示、過剰な権限行使、サプライチェーン、サービス拒否。すべての所見は、設計から記述するのではなく、稼働中のシステムに対して再現します。

エージェント・MCPのエクスポージャーエージェントが何に到達でき、攻撃者がそれに何をさせられるか。 ツールの一覧、MCPサーバーの信頼性と認証、権限の範囲設定、混乱した代理人（confused deputy）の経路、そして汚染された入力が読み取りを書き込みに、書き込みを情報持ち出しに変えられるかどうか。

検索、データ・モデルの来歴検索が、質問者本人の権限を強制しているか、 それともコーパスをインデックスしたサービスアカウントの権限になっているか。学習データとファインチューニングデータの出所、ウェイトの出所とその検証方法、そしてシステムが何を、誰に送信することを許可されており、誰かがそれに気づくかどうか。

ガードレール・監視の有効性ベンダーが存在すると言う統制を検証する。 入力および出力フィルター、分類器、レート制限、ログ記録、アラート。私が実行した攻撃を捕捉したか、そしてその記録が気づかれたかどうかで判断します。

対象となる方

顧客データ、社内文書、または副作用を伴うツールに触れるLLMシステムに責任を負うCISO、ジェネラルカウンセル、プロダクトオーナーで、ローンチ前、顧客のセキュリティ審査前、あるいは規制当局からの照会前に答えを必要とする方。価格が決まる前にAI製品の検証を必要とする投資家や買収者にとっては、技術デューデリジェンスの延長として。EU AI法への対応を準備する取締役会と弁護士。同法では、高リスクおよび汎用システムの義務は、文書化されたリスク管理、データガバナンス、ログ記録、人間による監督にかかっており、独立した評価は、それらが存在すべきだと述べる方針ではなく、実際に存在することの証拠となります。

対象範囲は、デプロイされた状態のシステムです。あらゆる入力経路でのプロンプトインジェクション、OWASP LLM Top 10、エージェントとMCPのエクスポージャー、モデルとデータの来歴、検索における権限の強制、ガードレールと監視の有効性、外部送信。プライベートAI環境の構築とは区別されます。これは別のサービスであり、周辺インフラのレッドチーミングとも区別されます。後者は、評価の結果必要と判断されれば別途範囲を定めます。私は自身の事業でこの種のシステムを構築し、保護しているため、所見は本番環境でこれらのシステムが実際にどう振る舞うかに照らして検証されています。

依頼すべきでない場合

チェックボックスを埋めるために私を雇わないでください。必要なのがベンダー質問票の記入や営業資料に添付する証明書であれば、より安価な方法があり、その結果はシステムの挙動を何も変えません。私はAIセキュリティ製品の販売も再販も行わないため、修正策として製品を推奨することはありません。モデル品質のベンチマーク評価や、代表的な環境で攻撃することが許可されていないシステムには適していません。サニタイズされたコピーに対する評価は、コピーについてしか教えてくれないからです。出荷を決めていないプロトタイプであれば、待って、責任を負うことになる実物を評価してください。

得られるもの

システムに本来させてはならないことのうち、私が実際にさせることができた事項の一覧です。再現手順、それが成立したアーキテクチャ上の理由、そして他者に発見された場合の損失の大きさによる順位付けを添えます。併せて、テストに耐えた統制を明記し、何に依拠でき、何に依拠できないかを明らかにします。所見は、承認する経営者と修正する技術者の両方に向けて、一つの文書に、方針の提言ではなく本番環境で機能する修正策とともに記載します。テストを実行し、アーキテクチャを読み、結論に署名するのは、名前を明らかにした一人の人間です。

成果物は書面による結論として、サンプル・メモランダムの形式でお渡しします。検討すべき問い、レビューした証拠、前提とする仮定、所見、未解明の事項、次に取るべき行動を記載します。

よくある質問

AIセキュリティ評価とは何ですか。

AIまたはLLMシステムを、悪用され得る手口に対して独立して検証します。プロンプトインジェクション、データ漏えい、ツールやエージェントを通じた過剰な権限行使、文書の権限を無視する検索、機能しないガードレール。アーキテクチャを読み解き、稼働中のシステムを実際に攻撃したうえで、何が成功し、何が持ちこたえ、何を変えるべきかを報告します。

AIセキュリティ評価の費用はいくらですか。

案件は、短いスコーピング面談の後に、書面で範囲と価格を定めます。範囲は、関係するモデル、ツール、データソースの数と、システムがエージェント型かどうかによって決まります。システムの概要と回答が必要な期日を添えてご連絡ください。書面による範囲をお返しします。

LLMレッドチーミングやペネトレーションテストと同じものですか。

両者と重なりますが、どちらでもありません。ペネトレーションテストはインフラを対象とします。LLMレッドチーミングはモデルで止まることが多くあります。この評価は、デプロイされた状態のシステム全体を検証します。モデル、プロンプト、検索層、エージェントが呼び出せるツールとMCPサーバー、ガードレール、外部送信経路を、OWASP LLM Top 10とその先まで含めて検証します。