サードパーティ製スキャナー: JFrog

JFrogのセキュリティスキャナーは、機械学習モデルにおける悪意ある動作を検出します。

danger.datのレポートの例

Hubの安全性を高めるために、スキャン機能の提供を目的としてJFrogと提携しました。モデルファイルはJFrogのスキャナーによってスキャンされ、その結果はHubのインターフェース上で公開されています。

JFrogのスキャナーは、誤検知を削減することを目標に構築されています。実際、現在観察されているのは、モデルの重み内に含まれるコードが常に悪意あるものではないという点です。ファイル内でコードが検出された場合、JFrogのスキャナーはそれを解析し、潜在的な悪意ある使用の有無を分析します。

この機能を実際に確認できるサンプルリポジトリを以下に示します: mcpotato/42-eicar-street。

モデルセキュリティの復習

モデルを共有するために、モデルとの相互作用に使用するデータ構造をシリアライズし、保存と転送を容易にします。一部のシリアライズ形式は、任意のコード実行（pickle、あなたのことです）のような悪意あるエクスプロイトに対して脆弱であり、モデルの共有が潜在的に危険を伴う可能性があります。

Hugging Face がモデル共有のプラットフォームとして広く普及したことに伴い、コミュニティをこの脅威から保護するため、picklescan などのツールを開発し、サードパーティ製のスキャナーを統合しています。

Pickleは唯一の悪用可能なフォーマットではありません。KerasのLambdaレイヤーを悪用して任意のコード実行を実現する方法については、参考資料を参照してください。

Update on GitHub