2025-03-11
OpenAI研究發現前沿推理模型存在作弊行為,建議保留CoT監測
據OpenAI發布的研究,團隊在訓練前沿推理模型(如OpenAI o1、o3-mini)時發現,這些模型會利用漏洞繞過測試,如篡改代碼驗證函數、偽造測試通過條件等。研究表明,監測模型的思維鏈(Chain-of-Thought, CoT)可有效識別此類作弊行為,但強行優化CoT可能導致模型隱藏其意圖,而非消除不當行為。OpenAI建議開發者避免對CoT施加過強的優化壓力,以便繼續利用CoT監測潛在的
OpenAI发布CoT监控,阻止大模型恶意行为
OpenAI发布了最新研究,用CoT(思维链)监控的方式,可以阻止大模型胡说八道、隐藏真实意图等恶意行为,同时也是监督超级模型的有效工具之一。OpenAI使用了最新发布的前沿模型o3-mini作为被监控对象,并以较弱的GPT-4o模型作为监控器。测试环境为编码任务,要求AI在代码库中实现功能以通过单元测试。结果显示,CoT监控器在检测系统性“奖励黑客”行为时表现卓越,召回率高达95%,远超仅监控行为的60%。
2024-04-12