紅隊演練工具-PyRIT

微軟透過GitHub開源了PyRIT工具,
為了幫助安全專業人員和機器學習工程師自動化辨識大型語言模型(LLM)可能存在的風險。

PyRIT由五個主要元件組成:測試目標、使用的提示資料集、評分引擎、攻擊策略以及記憶體等。
這個工具的作用是向特定的生成式AI系統傳送惡意提示,
收到回應後根據評分引擎的結果生成新的提示,進行循環測試,
微軟測試顯示,PyRIT能夠在幾小時內完成原本需要幾周的測試工作,
對於安全研究人員是一個極大的幫助。

雖然PyRIT可以自動化一些繁瑣的任務,
但微軟強調,它並不是用來取代人工紅隊演練,
而是輔助其工作,安全研究人員仍然掌握著紅隊操作的執行和策略,
PyRIT只是幫助他們擴大專業知識並加速測試過程。

文章來源-請點這裡