今日看点

斯坦福下了臭棋?Percy Liang发文辩解:基础模型是人类社会的未来

发表于话题:李云迪的商业版图
发布时间:2021-10-26

  八月,斯坦福大学的研究人员在arxiv上传了一篇报告,宣布人工智能的新时代已经到来,一个建立在巨大的神经网络和数据海洋之上的时代。

  依托于超大规模的预训练模型,例如,BERT、DALL-e、GPT-3,各种下游任务的性能都得到了飞速的发展。这类模型斯坦福也将其称为「基础模型」,即这些模型是不完整的,但它对于落地应用来说是必不可少的。

  在论文中,斯坦福还宣称将建立一个基础模型研究中心CRFM(Center for Research on Foundation Models),主要研究和开发这类基础模型。

  这篇论文一出,顿时引起了社会各界的反对声音,有学者认为这类研究是“骗经费的“,还有人认为“深度学习不值得”。学术界的主要观点似乎是深度学习确实很好用,但是浪费如此大的资源来研究,实在是一件不划算的事。

  针对这种观点,CRFM的主任、华人Percy Liang于10月18日发表了一篇文章,表达了对基础模型的一些反思。

  在建立基础模型研究中心后,社会各界引起了广泛反响,我们不光应该讨论一下基础模型为什么这么重要,也需要反思一下为什么社会上的回应。

  Percy Liang希望最近发布的关于基础模型的报告,以及建立的斯坦福大学基础模型研究中心(CRFM)作为斯坦福人类中心人工智能研究所(Stanford Institute for Human-Centered AI, HAI)的一部分,并举办了一个研讨会以促进全社会对话。

  这项工作在社会上受到了广泛的关注,一些人公开讨论了他们的想法,我们认为开放式话语对于构建正确的规范、最佳实践和围绕基础模型的更广阔的生态系统是必要的。

  首先回答一个问题,什么是基础模型(Foundation models)?

  基础模型的定义为在广泛的数据(通常使用大规模自监督算法)上训练的模型,该模型可以适用于广泛的下游任务。这些模型基于迁移学习的理念以及深度学习和大规模应用的计算机系统的最新进展,能够证明他们具有通用性,并能够大大提高了广泛下游任务的性能。

  鉴于这种潜力,我们可以看到基础模型的范式已经发生变化,其中许多跨领域人工智能系统将直接建立或整合基础模型。

  基础模型鼓励均质化(homogenization),也就是说同样的几个模型能够作为其他实际应用的基础被重复使用。

  但这种整合是一把双刃剑,虽然集中化可以让研究人员集中精力在一小部分模型上来提高稳健性,减少偏差。但集中化还会将这些模型的单一故障点无限放大,并可能会对无数下游应用程序造成诸如安全风险、社会偏见等危害。并且随着越来越多的AI应用被开发出来,基础模型在当前的实践下都表现出明显和重大的社会风险。

  这一背景下,CRFM在尝试改变这些。

  CRFM主要负责基础模型的发展,并且是一种「负责任」的发展,研究中会特别关注不平等、滥用、环境影响、法律框架、规模伦理和经济后果。这些社会考虑能够进一步告知我们对技术基础的讨论,主要涵盖模型(包括数据、架构、目标、系统、评估、理论),及它们对人工智能领域(机器人、视觉、推理)的影响,以及它们在各个学科(法律、医疗、教育、生物医学)中的应用。

  报告中还概述了现有做法应该如何改变:如提出数据管理协议、尊重隐私、标准评估范式、干预和补偿不公正的机制以及管理基础模型的规范。一般来说,在这个过程中,谁控制这一发展趋势,都将会影响基础模型的发展,以至影响更广泛的生态系统和社会。

  报告的出发点在于,基础模型的当前轨迹不是不可避免的。基础模型可以(而且越来越应该)接触到实际应用中,在感知、互动、真实世界中交互、获取常识物理模型、心理理论以及获取植根于这个世界的语言是人工智能的重要组成部分,所有这些都需要基础模型提供技术支持。

  此外,应用落地还可以通过将基础模型与AI中的其他方法结合来实现:PIGLeT 就是一个例子,它使用预训练的语言模型和语言的物理动力学模型来编码语言形式。也就是说基础模型不只是大型语言模型,基础模型还可以使用图像、视频和其他感官和知识库数据进行训练。报告中也强调应用落地对于基础模型如何在计算机视觉和机器人学中发展至关重要。

  并且目前基础模型的发展通常没有集中在人身上,而是集中在资源上。在基础模型的发展过程,CRFM的目标是识别和提升人在整个生态系统的基础模型中的作用。人们创建的数据支持基础模型,开发基础模型,适应基础模型的具体应用,并与所得到的应用程序交互。

  更广泛地应该强调数据主题、创建者、策展人和管理者、基础模型提供者、下游应用开发者、参与共同设计的硬件和软件开发者、恶意行动者、边缘群体,以及领域专家、患者、诉讼当事人和学生等等。

  在研讨会上还特别强调了多样性,例如,代表性多样性、制度多样性和学科多样性是必要的,但这些多样性还远远足以使人们集中于比目前在基础模型发展中更大的程度。在许多意义上的多样性,包括方法和途径,是健康研究社区的精髓。

  CRFM的社区反映了这一点:因为这将会是具有不同学科背景的基础模型的主题,并且所有人也在追求与基础模型正交、互补或矛盾的研究。

  例如,虽然基础模型在数据结构中是典型「自下而上」的研究,但诸如因果网络、概率程序和正式系统等方法却是「自上而下」的。

  虽然这两种研究模式似乎不兼容,但我们认为这些方法可以互相协同。

  自顶向下方法中的推理通常由于难以解决逆问题而难以计算,但是基础模型可以提供有助于推理的快速建议。基础模型可以提供一种的快速、自动、初步的推理,该系统可以与其他方法集成,用于慢速、分析、审议推理。

  总之,CRFM的报告和更广泛的研究议程中的目标是提供一个测量基础模型来识别他们的长处和弱点。通过提请注意这些模式,我们试图强调这些模式的巨大成功和迅速采用,同时也强调其存在的缺陷、持续的局限性以及社会关注的原因。

  最终的目标是帮助人类社会塑造一个更好的未来,让这些模型得以开发、部署,并影响到它们所处的更广泛的生态系统。


标签组:[社会] [斯坦福

本文来源:https://www.kandian5.com/articles/72954.html

相关阅读

《与凤行》行止和沈璃圆房了吗 小说沈璃行止有“车”吗?

《与凤行》行止和沈璃圆房了吗?《与凤行》中沈璃和行止圆房了,两人在剧中失控圆房,之后行止问沈璃愿不愿意嫁给他。 沈璃和行止圆房后,行止求娶沈璃,还说要为她办一场十万天神同祝的婚礼。 行止把沈璃当成了真...

2024-03-29

《猜猜我是谁》内容分析 小说原著是什么?

《猜猜我是谁》内容分析:《猜猜我是谁》是由钟青执导,张予曦、王子奇领衔主演,柯乃予、韩东霖、王家茵、刘哲珲、王千果联袂主演,莫小奇、郑玉特别出演,贺鹏特邀主演,杨超然、李京沐、江鹏、刘潺主演的悬疑爱情...

2024-03-29

追风者沈近真暴露身份了吗 沈近真被迫撤离魏若来要出手了 追风者小说

  《追风者》中沈近真表面上是沈家大小姐,是在兵工厂上班的女军工家,但实际上她还是中共地下党,连沈图南夫妻俩都不知道沈近真的真实身份。最新剧情中沈近真因为刺杀李晟达失败面临着暴露身份的风险,《追风者》...

2024-03-29

《追风者》魏若来去接头险些暴露 魏若来是地下党吗?

《追风者》魏若来去接头险些暴露,在悬疑小说《追风者》中,主角魏若来的一次接头任务可谓惊心动魄,险些暴露了自己的身份。这一情节不仅凸显了故事的紧张氛围,更展示了魏若来机智勇敢的一面。 魏若来是一位身经百...

2024-03-29

末日愚者韩剧女主角是谁演的

  1、《末日愚者》中女主角的扮演者是安恩真,安恩真这次在剧中饰演的是一位奋不顾身的勇敢者。2、安恩真出生于1991年,是韩国知名演员,作为演员出道十二年了,演过多部经典韩剧。3、安恩真曾在韩剧《王国...

2024-03-29

网剧《离歌》定档0331 网剧离歌什么时候开播?讲的什么?在哪里看

网剧《离歌》定档0331,《离歌》是由文晔执导,李婷婷、周澄奥、米咪、崔雨鑫领衔主演,邵兵特邀主演,倪景阳、冯家妹、吴丹、李至强、崔钟、钟燕平、王磊等主演的青春悬疑网剧,于2024年3月31日起爱奇艺...

2024-03-29

末日愚者韩剧在哪里可以看

  1、《末日愚者》韩剧在Netflix平台上可以观看,该剧会在4月26日全集上线网飞播出。2、届时还可以在国内的韩剧TV上观看中字版剧集,该剧是根据日本同名小说改编的末日题材电视剧。3、《末日愚者》...

2024-03-29

蔡姬戏水与齐桓公伐楚:历史背后的真相

在中国古代历史上,诸侯争霸的故事层出不穷,其中春秋时期的齐国国君齐桓公发起的对楚国的讨伐,是一件影响深远的大事。这场战事的背后,有一个广为流传的故事——蔡姬戏水。本文将探讨这一事件的真实性以及它与齐桓...

2024-03-29

《与凤行》行止分手式告白 行止为何不能动情?与沈璃结局是什么?

《与凤行》行止分手式告白,《与凤行》行止用最淡定的语气说着最撩拨的话!行止沈璃一整个坦白局,行止把自己的责任明明白白的告诉了沈璃,这个唯一的神一旦陨灭,什么灵界仙界天外天,通通覆灭……所以他是真的不...

2024-03-29

《城中之城》曝新特辑 白宇帆于和伟解读人性博弈

金融乃国之重器,关乎国民经济,关乎百姓生活。此类选题,因创作所涉专业难度较高,多年来鲜有作品出现。然而“金融”,正是这十年社会发展的重大命题:“钱该往何处去?金融该怎样为百姓服务?”,这些根本性的问...

2024-03-29