首页 > 资讯 > 内容页

深化交流合作 筑牢AI安全屏障

2023-06-25 10:01:03 来源:人民邮电报

ChatGPT写文章调代码,文心一言巧解鸡兔同笼数学题,Microsoft 365Copilot帮“打工人”做PPT,Midjourney V5绘制的20世纪90年代中国情侣刷屏朋友圈……人工智能领域的大事一件接着一件,令人欣喜,也引人担忧。担心被AI“抢饭碗”,担心AI发展过快超出人类管控的能力范围。


(资料图)

最近,包括“ChatGPT之父”、OpenAI创始人兼CEO山姆·阿尔特曼,谷歌DeepMind公司CEO戴密斯·哈萨比斯以及美国Anthropic公司的CEO达里奥·阿莫代伊在内的一众AI界大佬联名签署了一封公开信,信的内容很短,加上the和a在内仅有22个单词。字数少,但信息量很大。信中这样说:“与流行病和核战争等其他社会规模的风险一样,缓解人工智能导致的灭绝风险应该被视作全球的优先事项。”信中把AI提到了与流行病和核战争同样的级别,足以见得AI野蛮生长带来的问题的严重性。比如AI系统设计不当或被恶意使用,可能会让歧视和偏见不断固化、虚假信息蔓延、隐私数据泄露……呼吁全球通力合作,对人工智能进行规范与监管,共同去应对、去解决AI超速发展带来的挑战。

上一封著名的AI公开信是在3月底,距离GPT-4发布仅两周时间。包括特斯拉CEO埃隆·马斯克在内的1000多名企业高管、学界专家联署发表公开信,呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统,暂停至少6个月。

为什么全球顶尖AI公司的高管和学界大咖要呼吁限制AI发展,他们在担心些什么?或许是AI快速发展在带给人们惊喜的同时也带来了未知,有些问题甚至连开发者本身都无能为力。

近日,在2023北京智源大会上,阿尔特曼呼吁全球各方就AI安全问题通力合作,建立国际通行的AI安全标准,并推进人工智能对齐(AI alignment,即引导AI系统的表现,使其符合设计者的预期目标)研究。他提出,可以尝试使用AI系统辅助人类来监督其他AI系统。以未来的AGI(通用人工智能)系统为例,可能包含10万行的二进制代码,人类有必要借助AI来辅助监督,判别系统是否存在违规行为。除了必要性之外,这种方法的好处在于,伴随AI技术的突破,AI监管技术也在同步发展。

在与智源研究院理事长张宏江围绕“AI安全与对齐”议题的问答讨论中,阿尔特曼谈到,未来十年内,全球很可能拥有一个非常强大的AI系统,届时人类会面临很多安全问题,因此,要从现在开始做好准备。他强调,对于AI安全而言,建立统一公平的框架和测试标准,让每个达到一定能力的AI模型都接受测试具有重要意义。他表示,解决AI对齐问题难度极大,需要来自世界各地最好的头脑,并称中国有很多优秀的人工智能人才,期待中国AI研究者能为AI安全提供中国智慧。

请扫码观看视频

划重点!关于AI对齐

什么是AI对齐?

AI对齐(AI alignment)是AI控制问题中的一个主要问题,即要求AI系统的目标要和人类的价值观与利益保持一致。

实现AI对齐面临哪些挑战?

◆ 选择合适的价值观

◆ 将价值观编码到AI系统中,使系统表现与价值观一致

◆ 选择合适的训练数据

AI对齐的研究方法

DeepMind和OpenAI围绕AI对齐分别从“提出合适的价值观”和“用技术方法实现对齐”两方面进行研究。

在用技术方法实现对齐方面,DeepMind提出了一种基于“逆强化学习(Inverse Reinforcement Learning)”的方法,该方法关注人类的行为,能够从行为表现中推断出价值观,并将其编码到AI系统中。OpenAI则提出了一种基于“对抗训练(Adversarial Training)”的方法,通常用于增强模型的鲁棒性和泛化能力,该方法可以让AI系统在与人进行交互时学习到人类的价值观。

逆强化学习的关注点在于人类的行为,从行为表现推断价值观;而对抗训练的重点是交互,从AI系统与人的交互中学习价值观。

相关新闻