然而,现有的安全检测方法在对齐、可定制性和可解释性方面仍存在不足,缺乏对新安全标准的适应。 【需求描述】 基于MindSpore实现文章中提出的ShieldLM方法,并在Qwen、Baichuan2等模型上予以复现 【参考资料】 https://arxiv.org/pdf/2402.16444 【验收标准】 基于MindSpore实现SheildLM方法 出模型检测功能测试报告,指标...
ShieldLM is a bilingual (Chinese and English) safety detector that mainly aims to help to detect safety issues in LLMs' generations. It aligns with general human safety standards, supports fine-grained customizable detection rules, and provides explanations for its decisions. The overall performance...
ShieldLM is a bilingual (Chinese and English) safety detector that mainly aims to help to detect safety issues in LLMs' generations. It aligns with general human safety standards, supports fine-grained customizable detection rules, and provides explanations for its decisions. The overall performance...
FakeShield框架 如图3所示,该框架包括域标签引导的可解释伪造检测模块(Domain Tag-guided Explainable Forgery Detection Module,DTE-FDM)和多模态伪造定位模块(Multi-modal Forgery Localization Module,MFLM)两个关键部分。 DTE-FDM负责图像伪造检测与检测结果分析,利用数据域标签(domain tag)弥合不同伪造类型数据之间的...
3. 设计了基于领域标签引导的解释性篡改检测模块(DTE-FDM),在单一模型中检测多种篡改类型,缓解了数据域冲突问题。同时,通过多模态篡改定位模块(MFLM),对齐视觉和语言特征,实现精准的篡改区域定位。 基于上述创新,FakeShield不仅提升了篡改检测定位的准确性和解释性,还显著增强了模型的适应性和实用性,为图像篡改检测领...
Multi-modal Forgery Localization Module(MFLM) MFLM 模块负责精准定位图像中的篡改区域,通过多模态特征对齐的方式将文本和视觉信息融合,从而生成准确的篡改掩膜。MFLM 的设计旨在解决仅依赖单一模态信息所带来的定位不准确问题,增强对复杂篡改区域的识别能力。
3. 设计了基于领域标签引导的解释性篡改检测模块(DTE-FDM),在单一模型中检测多种篡改类型,缓解了数据域冲突问题。同时,通过多模态篡改定位模块(MFLM),对齐视觉和语言特征,实现精准的篡改区域定位。 基于上述创新,FakeShield不仅提升了篡改检测定位的准确性和解释性,还显著增强了模型的适应性和实用性,为图像篡改检测领...
Multi-modal Forgery Localization Module(MFLM) MFLM 模块负责精准定位图像中的篡改区域,通过多模态特征对齐的方式将文本和视觉信息融合,从而生成准确的篡改掩膜。MFLM 的设计旨在解决仅依赖单一模态信息所带来的定位不准确问题,增强对复杂篡改区域的识别能力。
= 'google/gemma-2-2b-it'reference_model_name = 'google/gemma-2-27b-it'tokenizer = AutoTokenizer.from_pretrained(reference_model_name)model = AutoModelForCausalLM.from_pretrained( reference_model_name, device_map='auto', torch_dtype=torch.bfloat16)assistant_model = AutoModelForCausalLM....
FakeShield还包含领域标签引导的可解释伪造检测模块(DTE-FDM)多模态伪造定位模块(MFLM),分别用于解决各种类型的篡改检测解释和实现由详细文本描述引导的伪造定位。 大量实验表明,FakeShield可以有效地检测和定位各种篡改技术,与以往的IFDL方法相比,它提供了一种可解释的、更优越的解决方案。