クラウド脅威の検出と対応のパイオニアであるSkyhawk Securityは、多様なクラウドログとテレメトリ内でサイバーセキュリティーの脅威を特定しスコアリングする大規模言語モデル（LLM）の能力を評価するための業界初のベンチマークを発表した。ベンチマークには、これらのLLMのパフォーマンスをランク付けするリーダーボードも含まれている。この貴重なリソースは、より広範なクラウドセキュリティー セクターの強化を目的としており、定期的に更新され、Skyhawkのウェブサイトから自由にアクセスできるようになる。ベンチマークとLLMリーダーボードは、Cloud Security AllianceのSECtemberコンファレンスのセッション中に正式に導入された。このセッションは、SkyhawkのAIおよび研究担当ディレクターであるAmir Shachar氏が主導した。このベンチマークは、LLAMA2モデルに基づいて、ChatGPT、Google Bard、FalconなどのさまざまなオープンLLMを評価する。Skyhawkのベンチマークは、攻撃シーケンスの悪意を予測する際の各LLMの精度に焦点を当てている。これらのシーケンスはSkyhawk Securityの機械学習モデルによって抽出および作成され、人間がラベルを付けた何百ものシーケンスと比較された。LLMは精度、再現率、およびF1スコアに基づいてスコア付けされ、スコアが「1」に近いほど予測精度が高いことを示す。SkyhawkのLLMベンチマークのリリースは、生成AIを使用したクラウドセキュリティー分野のイノベーションへの同社の取り組みを示している。これは、Skyhawk Synthesis Security Platform内でSkyhawkのシフトレフトCDRソリューションが最近リリースされたことに続くものだ。この革新的なアプローチにより、脅威検出プロセスがクラウドネットワークとIAMの「左側」、つまり境界に移動する。Skyhawkのクラウド脅威検出および対応システムは、クラウドインフラストラクチャーのコンテキスト分析を使用して、企業の最も貴重な資産への潜在的なハッカー パスを特定する。これにより、セキュリティーチームは深刻な脅威を早期に特定し、最も高いリスクを引き起こす脅威に優先順位を付けて侵害を防ぐことができる。