首页
下载应用
提交文章
关于我们
问卷:你怎么看自由微信?
🔥 热搜 🔥
1
上海
2
习近平
3
新疆
4
鄂州父女瓜
5
乌鲁木齐
6
疫情
7
H工口小学生赛高
8
习明泽
9
芊川一笑图包
10
印尼排华
分类
社会
娱乐
国际
人权
科技
经济
其它
首页
下载应用
提交文章
关于我们
问卷:你怎么看自由微信?
🔥
热搜
🔥
1
上海
2
习近平
3
新疆
4
鄂州父女瓜
5
乌鲁木齐
6
疫情
7
H工口小学生赛高
8
习明泽
9
芊川一笑图包
10
印尼排华
分类
社会
娱乐
国际
人权
科技
经济
其它
从来就不缺傻子!
女高管与男下属上班约会开房,男方妻子闹到单位!被开除后她辩称:一直保持0.46-1.22米“个人距离”
周一004 意甲 帕尔马VS卡利亚里 【全网最强分析】今日继续拿捏主任!跟上吃肉!昨日推荐早场全收,今日8000倍直接做胆!
错过这轮牛市,等于2000年错过楼市!
入不敷出的成武县,每年给退休公务员发8亿养老金
生成图片,分享到微信朋友圈
查看原文
其他
Scaling Law被证伪,谷歌研究人员实锤研究力挺小模型更高效,不局限于特定采样技术!
51CTO技术栈
2024-09-06
“模型越大,效果越好”,Scaling Law再次被OpenAI带火了,但谷歌的研究人员的最新研究证伪了这一观点。
在周一发表的一项研究中,谷歌研究院和约翰霍普金斯大学的研究人员对人工智能 (AI) 模型在图像生成任务中的效率有了新的认识。这些发现挑战了“越大越好”的普遍信念,可能对开发
更高效
的人工智能系统产生重大影响。
模型大小与性能之间的较量
这项研究由研究人员
Kangfu Mei
和
Zhengzhong Tu
来主导,重点关注潜在扩散模型(LDM)的缩放特性及其采样效率。LDM 是一种人工智能模型,用于根据文本描述生成高质量图像。
为了研究模型大小和性能之间的关系,研究人员训练了一套 12 个文本到图像 LDM,其参数数量从 3900 万到惊人的 50 亿不等。然后,这些模型在各种任务上进行了评估,包括文本到图像的生成、超分辨率和主题驱动的合成。
论文中写到,“虽然改进的网络架构和推理算法已被证明可以有效提高扩散模型的采样效率,但模型大小(采样效率的关键决定因素)的作用尚未得到彻底检验。“
令人惊讶的是,研究表明,在
给定的推理预算下
(相同的采样成本)运行时,较小的模型可以胜过较大的模型。换句话说,当计算资源有限时,更紧凑的模型可能比较大、资源密集的模型能够生成更高质量的图像。这为在模型规模上加速LDMs提供了一个有前景的方向。
论文还进一步表明,采样效率在多个维度上是一致的。研究人员有一个重要发现,
较小模型的采样效率在各种扩散采样器(随机和确定性)
中都是保持一致,甚至在
蒸馏模型
(原始模型的压缩版本)中也是如此。这表明较小模型的优势并不限于特定的采样技术或模型压缩方法。
研究者认为,这种对缩放采样效率的分析将对指导LDMs的未来发展起到关键作用,特别是在广泛的实际应用中平衡模型规模与性能和效率方面。
然而,该研究还指出,当计算约束放松时,较大的模型仍然擅长生成细粒度的细节。这表明虽然较小的模型可能更有效,但在某些情况下仍然需要使用较大的模型。
写在最后
这项研究的影响是深远的,因为它为开发更高效的图像生成人工智能系统开辟了新的可能性。通过了解 LDM 的
扩展特性以及模型大小和性能之间的权衡
,研究人员和开发人员可以创建在效率和质量之间取得平衡的 AI 模型。
这些发现
符合
人工智能社区的最新趋势,即 LLaMa 和 Falcon 等小型语言模型在各种任务中的表现都优于大型语言模型。推动构建开源、更小、更高效的模型的目的是使人工智能领域民主化,让开发人员能够构建自己的人工智能系统,这些系统可以在单个设备上运行,而不需要大量的计算资源。
不得不说,在 GenAI 领域,有那么一点“大行不顾细谨,大礼不辞小让”的感觉。
参考链接:
https://arxiv.org/pdf/2404.01367.pdf
——好文推荐——
华人又来炸场!一个命令工具让GPT-4干掉Devin和RAG!Jim Fan:提示工程2.0没必要了!
GPT-5史诗级更新之前,OpenAI的“新东西”来了,曝定价百万字符15美元,语音克隆引擎让老外说“有口音的”中文
继续滑动看下一个
轻触阅读原文
51CTO技术栈
向上滑动看下一个
您可能也对以下帖子感兴趣
{{{title}}}
文章有问题?点此查看未经处理的缓存