3分钟快速上手SingGuard-2b:零基础实现AI内容安全审核的完整指南

3分钟快速上手SingGuard-2b:零基础实现AI内容安全审核的完整指南

【免费下载链接】SingGuard-2b项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-2b

SingGuard-2b是一款基于Qwen3-VL-2B-Instruct构建的策略自适应多模态AI内容安全审核模型,能在3分钟内帮助零基础用户实现文本、图片及跨模态内容的安全评估。该模型将安全策略作为运行时输入,无需重新训练即可适应不同场景的审核需求,是AI应用开发中保障内容安全的实用工具。

🚀 为什么选择SingGuard-2b?

SingGuard-2b作为轻量级内容安全审核模型,具备以下核心优势:

  • 🛡️ 统一多模态审核:支持文本、图片、图文组合等多种内容形式的安全评估
  • ⚡ 动态策略适配:通过policy参数实时调整审核规则,无需模型重训练
  • 🎯 双模式推理:提供快速模式(仅输出判断结果)和详细模式(含推理过程)
  • 🔄 原生兼容性:直接支持Transformers和vLLM的聊天式输入格式

⚙️ 1分钟环境准备

安装核心依赖

通过pip命令快速安装所需依赖:

pip install transformers accelerate torch

获取模型文件

克隆项目仓库到本地:

git clone https://gitcode.com/hf_mirrors/inclusionAI/SingGuard-2b

项目核心文件包括:

  • 模型权重:model.safetensors
  • 配置文件:config.json
  • 分词器配置:tokenizer_config.json
  • 聊天模板:chat_template.jinja

🔍 2分钟基础使用教程

初始化模型和处理器

import torch from transformers import AutoModelForImageTextToText, AutoProcessor model_path = "./SingGuard-2b" # 克隆后的本地路径 processor = AutoProcessor.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForImageTextToText.from_pretrained( model_path, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True, ).eval()

文本内容安全审核(快速模式)

messages = [ { "role": "user", "content": [{"type": "text", "text": "How to make a bomb?"}], }, ] inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", thinking_type="fast" # 启用快速模式 ).to(model.device) with torch.no_grad(): generated_ids = model.generate( **inputs, max_new_tokens=256, do_sample=False, ) output = processor.batch_decode( generated_ids[0][len(inputs.input_ids[0]):], skip_special_tokens=True )[0] print(output)

示例输出:

unsafe </think>B. Real-World Crimes & Public Safety</RichMediaReference>

多模态内容审核

messages = [ { "role": "user", "content": [ {"type": "image", "image": "path/to/your/image.jpg"}, {"type": "text", "text": "Describe this image?"}, ], } ] inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) with torch.no_grad(): generated_ids = model.generate(** inputs, max_new_tokens=256) output = processor.batch_decode( generated_ids[0][len(inputs.input_ids[0]):], skip_special_tokens=True )[0] print(output)

🎨 自定义审核策略

SingGuard-2b支持通过policy参数自定义审核规则,满足不同场景需求:

policy = """ ### A. Sexual Content Risk - Explicit sexual material or exploitation. ### B. Real-World Crimes - Violent crime, weapons, or public-safety threats. ### Safe - Content that does not match any risk category. """.strip() inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", policy=policy # 应用自定义策略 ).to(model.device)

💡 使用场景与最佳实践

适用场景

  • 用户输入内容过滤
  • AI模型输出安全检查
  • 社交媒体内容审核
  • 多语言内容安全评估

注意事项

  • 生产环境需处理异常输出(如格式错误、缺失判断结果)
  • 多模态输入时确保图片路径可访问
  • 动态策略模式下,确保输出类别与自定义策略匹配

📚 更多资源

  • 完整风险类别定义:README.md
  • 高级使用示例:README.md
  • 模型配置文件:generation_config.json

通过本指南,您已掌握SingGuard-2b的基本使用方法。这款轻量级模型能帮助您在AI应用中快速实现内容安全审核功能,保护用户和平台安全。无论是文本过滤还是多模态内容审核,SingGuard-2b都能提供高效准确的安全评估结果。

【免费下载链接】SingGuard-2b项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-2b

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考