请
登录
后使用快捷导航
没有帐号?
立即注册
设为首页
|
收藏本站
|
切换风格
快捷导航
首页
论坛
BBS
头条
都市圈
美国
欧洲
分类信息
更多
搜索
本版
用户
发帖
登录
注册
每日签到
网站工具箱
帮助中心
西兔生活网
›
华人生活
›
都市圈
›
2024AI大趋势:“大模型”进入“小时代”? ...
回复
发帖
返回列表
[科技]
2024AI大趋势:“大模型”进入“小时代”?
[复制链接]
张哲生
当前离线
高级会员
积分
兔币
帖子
高级会员, 积分 501, 距离下一级还需 499 积分
501
276
225
在线时间:0 小时
最后登录:2024-9-10
窥视卡
雷达卡
38991
0
张哲生
发表于 2023-12-25 16:32:47
|
只看该作者
当前,
人工智能
领域正在尝试开发更小型、成本更低的
AI
模型,这可能会使AI技术更加普及和易于使用。
有人工智能专家预测,预计到2024年,小型语言模型将在特定任务部署AI的公司中发挥更大的作用。
OpenAI CEO、人工智能界当之无愧的先行者Sam Altman也承认:
“大模型”时代可能走向结束,未来我们会通过其他方式来改进它们。”
大模型的局限性
当前大模型在成本和计算需求方面有局限性。
过去五年来,AI领域通常以参数的数量来衡量一个模型的能力。参数越多,通常意味着模型能处理更复杂的任务,展示出更强的能力。
例如,最大模型的参数数量每年增加了十倍或更多,每次增加都带来了意想不到的能力扩展,如编程和翻译能力。所以大型神经网络模型通常被认为性能更优。
有观点指出:
“以参数数量作为能力或风险的衡量标准过于粗糙,我们应更关注模型的实际使用方式。”
这些大模型使用的参数数量极多(有的超过1000亿个),每个参数都需要计算资源来处理。尽管大模型(如GPT系列)在技术上领先,但这些模型往往规模庞大且对计算资源的需求极高。每当大模型在能力上有显著提升时,它们的训练和运行成本也急剧上升。即便这些模型是开源的,
许多研究者和小型企业也难以承担其所需的昂贵计算成本
。
不仅如此,许多AI研究者在这些模型的基础上进行迭代开发,以创造适用于新工具和产品的自己的模型,
但大模型的复杂性也让其变得困难。
监管对大模型也有所担忧
,并且对大型LLM的监管趋于严格。例如,
美国
政府在去年10月底发布的一项行政命令要求对制造“双用途”基础模型的公司,如那些拥有“数十亿参数”的模型,实施更高透明度要求。
小模型的优势
在某些特定任务上,小型、高效的AI模型可能比大模型更适用。
正如专注于人工智能和机器学习的技术公司Snorkel的Matt Casey写道:
“在某些任务上使用大模型就像是“用超级计算机玩《青蛙过河》。”
虽然大模型在处理复杂任务上有优势,但并不是每个任务都需要这样强大的计算能力。
小语言模型的优势数不胜数。
更低的资源需求。
小模型通常需要更少的计算资源来训练和运行,这使得它们更适合在计算能力有限的设备上使用,例如,小模型可以直接
安装
在用户的电脑或智能手机上,这样就不需要与远程数据中心连接。
更低的成本。
小模型在训练和部署时需要的计算资源较少,这直接导致了较低的运行和维护成本。
更好的隐私保护。
小模型可以在本地设备上运行,而无需将数据发送到云端服务器,这有助于提高数据处理的隐私性。
有助于提高数据安全性。
更快的处理速度。
由于参数较少,小模型在处理请求时的响应时间通常更短,这对于需要实时反应的应用尤其重要。
研究人员正在努力开发出更小、更高效的AI模型,缩减它们的参数数量,同时保证它们在特定任务上能够达到甚至超越大模型的表现。
一种方法是“知识蒸馏技术”,与传统的预训练不同,“蒸馏技术”的意思是使用一个大型的“教师”模型来指导一个小型的“学生”模型的训练。用“蒸馏”方式训练小模型,不再直接从训练大模型时会用到的那些巨量数据中学习,而只是在模仿。就像一个学生不会学到老师的全部知识库,但在针对性的领域,ta可以获得和教师差不多水平的考试表现。
Carnegie Mellon大学的计算机科学教授Graham Neubig说:
“通常情况下,你可以创建一个小得多的专门模型来处理特定任务。这种小模型虽然不具备大模型的广泛适用性,
但在特定任务上可以表现得非常出色
。”
Neubig教授和他的合作者在一个实验中开发了一个比GPT模型小700倍的模型,并发现它在三项自然语言处理任务上的表现超过了大型GPT模型。
小模型表现出色的例子有很多。
例如,微软的研究人员最近也发报告称,他们能够将GPT模型缩减成一个参数仅略超10亿的小模型。这个小模型能够在某些特定任务上与大模型相媲美。
再者,今年7月,Meta的开源Llama 2,推出了三个版本,参数范围从7亿到70亿不等。还有,为金融应用设计的BloombergGPT只有50亿参数。
尽管这些模型的参数数量相对较少,但它们在多项任务上的表现都优于类似模型
,显示了小模型的潜力。
小型语言模型的局限性
然而,这些优势通常是以牺牲一定的性能为代价的。一些研究显示,但小型“学生”模型可能只在一定范围内的任务上表现出色。大型“教师”模型由于其庞大的参数数量和复杂的结构,通常在理解和生成语言方面更为精准和强大。因此,在更广泛或复杂的任务上,选择小模型还是大模型取决于特定应用的需求和限制。
人工智能公司Cohere的非营利人工智能研究实验室Cohere for AI的负责人Sara Hooker说道:
“小模型在处理广泛或罕见任务时的能力仍有限。”
“还有很多未知的领域,我们如何确保从大模型中获得的数据足够多样化,以覆盖所有这些任务?”
“蒸馏”技术在某种程度上是法律灰色地带。比如通过蒸馏技术(一种将大型AI模型的知识转移到更小模型的过程),小模型可能在功能上与大模型类似或者能够执行相似的任务。然而,“竞争”的具体定义可能不够明确,这导致了法律上的不确定性。
(更多精彩科技资讯,点击这里进入全天候站点)
上一篇:
疯狂一夜!15笔交易达成,勇士压哨2换1,湖人快船一无所获
下一篇:
美日舰队靠近台海!解放军做充足准备,一线部队演练遭空袭后反击
@免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义,请点击“举报”按钮,其他联系方式或无法及时处理。
举报
0人
收藏
0人
支持
0人
反对
0人
淘帖
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
返回列表
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
张哲生
高级会员
0
关注
2
粉丝
50
帖子
发送私信
收听TA
Ta的主页
热门图文
联发科天玑 9400曝光,4个超大核设计性能更
又一颗大雷!700亿海银财富爆了,5万人血本
中国广州/深圳/佛山海运整柜到新加坡-整柜
安理会上,中方当面训斥美方:别再吹了
又翻车?网红“东北雨姐”被指造假,本人回
合肥市教育局回应“家长做局偷拍教师收礼物
热门帖子
都市圈
9月9日,毛主席逝世48周年!我们永远怀念
头条大事
两人握手后火力全开,哈里斯说美国要打败中
都市圈
沪指跌0.81%再创阶段新低 深圳华强17天16板
都市圈
《凡人歌》:14岁被张艺谋相中,杨紫唯一承
都市圈
比亚迪“电动摩托车”外观设计专利获授权
都市圈
中部大运河,真的要来了吗
都市圈
1.9万亿 字节跳动遭遇“背刺”,美国投资人
都市圈
川普 、哈里斯辩论已结束,Polymarket上预测
都市圈
南海局势告急,越军公开锁定中国052D军舰画
都市圈
中国核潜艇连续航行九十昼夜,创造世界纪录
排行榜
日
周
月
1
别说飞度是丐中丐了!慷慨的本田,给飞度低
我估计有些人看到标题,就要开喷了,如果你真的是这样,我只能说你真是个直肠子。
99952
0
2
奥斯卡:离开上海会最怀念治安,中国的生活
直播吧9月12日讯 上海海港队球员奥斯卡在上海家中接受了巴西《圣保罗页报》的采访,
99742
19
3
首家外商独资医院8年前落户上海,部分外资
9月8日,商务部等三部门公布了在医疗领域开展扩大开放试点的通知。在独资医院领域,拟
99227
1
4
山东第一网红城市,灌醉了多少人
去年淄博火了之后,今年菏泽又刷屏,下一个出圈的山东城市会是哪个? 不管谁,“好
99226
8
5
5250元起!索尼最强PS主机发布!PS5 Pro玩
不得不说,这世界上有很多事情,是我们预想不到的。 谁能够想到受《黑神话:悟空》的
99045
2
6
MG名爵“小玛莎”后天上市!4S店:卖5万多
上汽名爵新一代MG5将于9月13日上市。 新一代MG5较现款加长40mm,比核心竞品吉利帝豪
98799
20
7
访华结束之际,西班牙首相立场变了,劝说27
西班牙首相桑切斯结束了为期4天的访华之行,临走时接受媒体采访,被问及欧盟对华关税
98373
7
8
美股V形反转!英伟达飙升8%,中国资产大爆
美东时间9月11日,美股市场在经历开盘跳水后,呈现V形反弹态势,三大股指全线收涨。截
98125
0
9
亚洲四大风暴混战,台风摩羯竟跑印度去了!
9月11日,随着台风胚胎上岸,在我国东部地区兴风作浪,江苏安徽等地的暴雨迅速加强,
96955
7
10
8月核心CPI超预期,美联储大幅降息梦碎!
核心CPI月率增加了市场对顽固通胀的担忧,降息50个基点的机会渺茫,黄金短线跳水
96889
7
1
何小鹏:中国新能源车企组球队 10年内说不
【CNMO科技消息】9月5日晚,2026世界杯亚洲区预选赛第三阶段第一轮中国队对战日本队的
99968
2
2
别说飞度是丐中丐了!慷慨的本田,给飞度低
我估计有些人看到标题,就要开喷了,如果你真的是这样,我只能说你真是个直肠子。
99952
0
3
DNF手游:金秋光环,1000深渊票免费送,强
DNF手游这游戏的活动福利还是非常多的,而且基本上每次版本更新都会有不少新的活动和
99940
0
4
存量房贷,调整的脚步声近了?
存量房贷降息的脚步,可能不远了。 近期在消息层面,关于存量房贷调整的声音,短短几
99886
4
5
中国采取全球首例措施,宣布反制加拿大
不久前,加拿大总理特鲁多公开宣布,自10月1日起,加方将对自中国进口的电动汽车,征
99774
2
6
中秋将至,月饼却卖不动了?商贩道出“销量
月饼,中秋节绕不开的时令美食,早在唐朝的时候就已经出现,如今3000多年过去,这种美
99755
9
7
奥斯卡:离开上海会最怀念治安,中国的生活
直播吧9月12日讯 上海海港队球员奥斯卡在上海家中接受了巴西《圣保罗页报》的采访,
99742
19
8
北京买房:理清思路,购房建议1294
北京章哥,房地产从业20年,通晓业内门道,我不做所谓的“专家”,只用二十年实战经
99731
0
9
“断崖式衰老”发生在这两个岁数!Nature子
村上春树曾说过,我一直以为人是慢慢变老的,其实不是,人是一瞬间变老的。你是否也有
99675
0
10
三一重工董监高“大撤退”:减持1亿砸出75
撰文 | 王鑫 俗话说“千里之堤溃于蚁穴”,市场弱势环境下,千亿工程机械龙头三一
99671
1
1
新机:Mate70全系列亮相;红米K80 Pro长这
[*]Mate 70 系列后盖曝光 华为 Mate 70 系列将于今年晚些时候亮相,而最新的泄露
100089
0
2
悟空出世爆火,深圳老板入账15个亿
撰文|曾佳琪 编辑|陈晓平 一夜之间,单机游戏《黑神话:悟空》爆火。 8月20日,国
100072
20
3
与操盘手深聊4小时,我们找到2024下半年经
作者|李静林 「价格力」指挥棒落下,支配抖音电商大半年的优先级经营目标再次发生变化
100070
0
4
成就非凡:家长该如何放手,让孩子书写自己
写在前面: 作为家长,我们肯定都希望孩子将来能够有个好工作,过上好日子。 如果
100067
0
5
乌军越境俄罗斯激战持续一周:沉默中行动,
据新华社报道,乌克兰总统泽连斯基8月13日与乌克兰武装部队总司令瑟尔斯基进行了视
100063
20
6
“ 到公司第一件事就是…”小米王腾晒游戏
8月20日上午10点,国产第一款3A游戏《黑神话:悟空》正式解锁上线。这款立项于2018年2
99985
0
7
iOS18新测试版推送达1.2GB ,新功能不多,
苹果iOS18新系统推出后已经向iPhone手机推送了多个测试版升级更新,现在iOS18新开发者
99977
0
8
奢侈品受贿、天价整容、履历造假……韩剧都
大家还记得之前闹得沸沸扬扬的,韩国总统夫人金建希的奢侈品受贿事件吗? 最近这件事
99970
20
9
何小鹏:中国新能源车企组球队 10年内说不
【CNMO科技消息】9月5日晚,2026世界杯亚洲区预选赛第三阶段第一轮中国队对战日本队的
99968
2
10
小鹏汽车官宣!完成收购
8月13日晚间,小鹏汽车发布公告称,公司已于2024年7月30日开始生产量产车辆小鹏MONA M
99956
2
活跃网友
1
财神驾到
主题数:1853,精华帖:0
2
一抹伤
主题数:1268,精华帖:0
3
哇哇的哭
主题数:1023,精华帖:0
4
绿林道的
主题数:619,精华帖:0
5
willlin
主题数:452,精华帖:0
返回顶部
快速回复
上一主题
下一主题
返回列表
APP下载
手机访问
扫一扫用手机访问
快速回复
返回顶部
返回列表