AIGC 浪潮下,如何构筑内容安全堡垒

时间:2024-11-12来源:网络作者:adminf

导读:
扫描关注公众号
自 ChatGPT 等大语言模型问世,AIGC 迅速崛起,成为内容创作与分发的全新引擎。它不仅改变了文章写作、音乐创作、AI 绘画和辅助编程等领域,更将影响力渗透到各行各业。然而,随着相关技术与产品的落地应用,AIGC 内容安全问题逐渐凸显,成为企业、开发者必须直面的挑战。


《生成式人工智能服务管理暂行办法》的颁布,明确了 AIGC 海量生成数据需要纳入监管审核范围。在监管合规性用户体验社会价值与责任的多重要求下,内容风控能力成为了平台运营的基础能力之一。七牛云紧密贴合 AIGC 行业特性,推出一套完备的「AIGC 内容安全一体化解决方案」,涵盖图片、文字、音视频内容审核以及备案支持等方面。尤其针对智能体、问答模型、大语言模型、多模态模型等场景,提供柔性处置策略。


1731385510980.png


AIGC 内容审核的挑战

内容安全作为平台生态发展的基础防线,对于生成式大模型而言,要做好内容风控,确保内容安全,面临的挑战是前所未有的。


其一,输入/输出要求高:需要明确区分可以提问和不可以提问的内容。针对一些必须正确回答的问题,首先要正确识别用户输入的情感语义,同时保证必须输出内容的正确性。
其二,违规类型不可预测:AIGC 生成的数据内容有高度的不可预测性,违规类型也可能是全新的。目前也出现了某些用户恶意利用大模型多轮对话、结合上下文语义进行作恶,因此需要结合具体场景制定对应的审核策略。
其三,审核时效性要求高:大模型的应用场景与传统的社交场景有区别,大模型通常是采用流式的输出,受限于 AI 输出速率,审核时效要求在毫秒级别。
其四,模型价值观构建难:有部分大模型公司直接使用开源基座模型,或者是经过了微调,但是由于训练数据未清洗的原因,模型的价值观可能与主流价值观不一致。


AIGC 内容安全一体化解决方案

七牛云为 AIGC 行业提供覆盖全流程、全场景、全维度的内容风控解决方案。

1731385616381.png


内容安全体系构建

(1)精准匹配业务逻辑布控,覆盖模型训练和应用的全流程

1731385660213.png

1)模型训练阶段:尽可能不生成有害内容


样本清理与风险识别:对样本进行清理,识别其中的风险,包括预训练样本和人工标注样本(SFT)中潜在的敏感问题。
敏感问题处理:一旦出现如政治和历史知识等敏感问题,会交由专业人员进行进一步的标注。
安全对齐:通过奖励机制来判断内容是否有害,以确保模型训练与安全目标的一致性。 
2)模型应用阶段:阻止有害内容传播,为敏感问题提供恰当答案
用户输入风险识别:在用户输入阶段进行风险识别,检测输入内容是否存在风险。
参考信息风险识别:对知识库和网络检索信息进行风险识别,防止注入或诱导性内容导致模型输出不适当的信息。
模型输出风险检测:使用敏感问题知识库和安全代答模型,给出安全的输出。针对模型输出进行风险检测,确保内容的安全性。 
(2)灵活设计调用流程,兼顾内容安全与用户体验
用户输入的处理流程包括 prompt 识别,将其分为有风险和无风险两类。对于无风险的输入,模型将进行正常的识别和回答;有风险的 prompt 根据内容进一步分类为:不可回答的问题、需要准确回答的问题、需要纠错回答的问题和需要正向引导的回答。正常回答和不可回答,这两种场景是比较明确也是相对容易判断的,但我们遇到的大量情况是剩下的三种:
第一种,需要准确回答的问题。在国内,涉政问题要准确回答,在海外可能是一些种族或者未成年人相关的问题,这个时候模型需要进入的是知识库和安全代答模型。
第二种,需要纠错回答的问题。它跟需要准确回答的问题非常像,只是在这个问题里面已经带有了不正确的知识或者不规范的表述,尤其涉及到一些敏感地区以及历史知识,这时需要纠正错误,然后再回答问题。
第三种,需要正向引导的回答内容。当用户提出问题时,如果不能针对问题直接回答,而是要引导用户走向新的方向。例如,如果用户问生活太痛苦了,想要躺平或自杀,有什么好的无痛苦自杀方法等,这时绝对不能回答他的问题,而是要正向引导他咨询心理医生或者与家人倾诉等。当识别出属于 “正向引导回答问题” 标签后,就可以进入安全代答模型回答环节。
(3)精准定义风险,1000+ 风险标签保障识别效果
定义风险是内容安全体系建设的核心部分。建立了涵盖文本、视频、音频等内容的四级内容标签体系,拥有涉政、涉黄、暴恐、辱骂、违禁等 1000 多个细化内容标签,实现更高效、更精细的内容识别。


1731385706706.png


理解复杂语义

(1)上下文语义理解


首先要基于上下文进行对象和主题的识别,尤其在识别敏感对象或主题时,必须依据上下文来区分真实情况、虚构情节或历史情境。例如,在提到一些领土或者政治事件时,需要判断其是真实存在的对象、虚构的情节还是历史过往。
(2)意图和观点的细化
从对象和主题的识别扩展到意图和观点的识别。包括对人物、违禁品、违法行为等类别的细致划分。对于违禁品类,需要进一步分析其背后的意图,如是否在教授制作、买卖、运输或诱导他人参与。对于人物类,还需识别如辱骂、诋毁、戏谑、轻浮、讽刺等不同态度和表达方式。
(3)多模型策略
不依赖单一的大模型识别所有风险,而是采用多个模型针对不同领域识别风险,如对象识别模型、观点识别模型等。
(4)长文本处理
采用滑动窗口技术进行分段处理,通过维护上下文信息来提高识别效率和准确性,同时减少重复计算,提高处理速度并降低成本。


识别多模态内容

除了文本,音视频内容的识别能力至关重要,且识别难度更大,复杂性更强。


(1)音频内容识别
在 AIGC 的场景下,模型可能会模拟真实人物的声纹,带来伪造和滥用的风险。这部分的识别分为语音识别和声纹识别两部分。语音识别将音频转写为文本,再利用 NLP 技术进行语义分析。除了内容,声音本身也可能是风险的来源,例如使用恐怖分子或敏感人物的声音进行伪造。声纹识别技术用于确认声音是否来自已知的敏感人物,需要区分声音内容和声源是否安全,避免敏感人物的声音被滥用。
(2)视觉内容识别
视觉传统方法侧重于识别对象和主题,如色情、暴恐场景、敏感人物、OCR 错误等。这类看似有画面感且简单,但实际上面临的挑战很大。在 AIGC 出现后,除了识别画面中的对象和主题,还需理解画面隐含的意图,如侮辱或诋毁行为。例如,识别对旗帜的不当行为,需要理解视觉内容背后的意图。
目前,七牛采用多模态方法,结合文本和视觉信息进行语义理解。使用对比学习等方法,将图像的语义特征与 NLP 模型对齐,即对齐不同模态的语义空间,以提高识别的准确性。
简单来说,AIGC 内容安全一体化解决方案通过精准匹配业务逻辑布控、灵活设计调用流程、精准定义风险、深入理解上下文语义、细化意图和观点、采用多模型策略、妥善处理长文本、准确识别音频内容、精准识别视觉内容等多维度策略,有力确保 AIGC 内容的安全性与合规性。


随着生成式大模型在各行业的广泛落地应用,内容风险将更加复杂。近两年,七牛云在 AIGC 领域积极探索,结合多年积累的音视频技术与 AI 算法,持续创新和优化,致力于为 AIGC 行业的健康发展提供坚实支撑。通过对文本、音频、视觉等多模态内容的全面审核,助力互联网平台实现更加精细化的内容生态运营治理。 













最新文章
推荐文章

广告位

广告位

图片集

图片集

母婴信息网

Copyright © 2002-2018 母婴信息网 版权所有 备案号:

站点声明:本网内容为转载,为广告,相关素材由广告主提供,广告主对本广告内容的真实性负责。

本网发布目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,转载内容仅供读者参考。

如有站点名称冲突,侵权等请联系我们删除,请您监督!