AIモデルの安全性ガードレールを「正当なCTFチャレンジやCVEハンティングの演習」と偽装して回避する、LLMの「CTFフレーミング」ジェイルブレイク手法が実環境で初観測された。

複数の独立した脅威アクターがこの手法を用い、コーディングアシスタントにエクスプロイトコードを生成させ、変更せずにそのままPraisonAIやLiteLLMなどのAIプラットフォームやGotenbergへの攻撃に流用していた。このフレーミングはUser-Agentだけでなく、LLMが生成したパスワード、APIキー、AWSセッション名などあらゆる出力フィールドに「指紋」として漏洩している。これは、攻撃者が意図的に付与したものではなく、LLMの出力特性によるものである。

防御側は、WAFによるUser-Agent内のCVE識別子の検知・ブロックや、LLMを用いたセキュリティ分析時の該当フィールドのサニタイズによって、この攻撃を容易に検知・防御できる。