跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究比较越狱提示的两种防御检测方法

论文比较文本表示与传统分类器识别越狱提示时的效果,记录漏报和误报的取舍。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日公开的一篇 arXiv 预印本比较了两种面向语言模型的防御检测方法。作者用已标注文本研究,依据文字表示识别风险请求能否作为传统分类器的替代选择。

AI 生成主题插画

论文在固定测试集上报告两种方法的检测效果。作者同时考察在减少漏报的要求下,误报如何变化。

试验仍依赖标注数据,阈值按验证集确定。论文指出,更换数据、训练量和测试环境后的表现仍需检验。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。