帮助大模特提高自身安全性 研究团队发布了AI安全平台
日期:2023-07-11 21:44:31 / 人气:279
本报北京电(记者张素)以ChatGPT为代表的生成式人工智能备受关注,大模型也在加速发展。研究团队最近发布了一个新的AI安全平台,以便为大型模型系好“安全带”和处理“方向盘”。据介绍,人工智能安全平台RealSafe3.0版本由清华大学人工智能研究院孵化器睿来智慧RealAI发布。平台可以提供端到端的模型安全评估解决方案,旨在解决当前一般大型模型安全风险难以审计的“痛点”。“大模型‘落地难’的本质是尚未找到情景、风险和规范之间的平衡。”瑞来智慧联合创始人、算法科学家肖子豪在接受采访时表示,在探索这个平衡点的过程中,缺乏简单易用、标准化的工具。换句话说,迫切需要在技术层面找到强有力的抓手,帮助人们科学判断大模型在场景中是否能同时满足规范和低风险,帮助大模型上线运行。据知,与之前的版本相比,RealSafe3.0增加了通用大型号的评测。该平台涵盖数据安全、认知任务、常见模型特定漏洞、滥用场景等近70个评估维度。可以全方位、多维度评价一般大模型的性能,未来还会继续扩大评价维度的数量。肖子豪表示,RealSafe3.0整合了多项自研模型和专家论证优质数据集,帮助用户修复模型中的问题。比如针对黑盒无法解释的普适大模型,自主研发的红队对抗模型代替了人工设计问题,显著提高了攻击成功率和样本多样性。再比如,教练模型对测试过的大模型进行多轮“问答训练”,用训练好的评分模型对问答结果进行评分,然后将评分结果反馈给大模型,使其不断强化学习好答案和坏答案的要点和区别,直到问答能力逐步迭代到最佳。值得一提的是,瑞来智能研究团队还开发了DeepReal2.0,可以防止对生成式人工智能的恶意滥用,即“生成式人工智能内容检测平台”。该平台支持检测图像、视频、音频和文本是否伪造。应用场景包括打击网络诈骗和名誉侵权、检测网络内容合规性、检测音视频物证真实性等。“我们将不断迭代技术,打磨产品,确保在这场人工智能安全的‘攻防战’中始终立于不败之地,将人工智能的‘关键变量’变成高质量发展的‘最大增量’。”肖子豪说。(完)[责任编辑:方佳良]


作者:91娱乐
新闻资讯 News
- 60岁冻龄大妈的相亲启示录:当代...04-25
- 戚薇接女儿放学,母女同框画面温...04-25
- 夜晚天空为何呈现黑色?揭秘宇宙...04-25
- 锋菲旧照炸出回忆杀:从“青涩恋...04-25