设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 华人生活 › 都市圈 › 9.11比9.9大？多个大模型翻车！业内人士：就是偏科，文 ...
回复 发帖
返回列表 发新帖
开启左侧

[科技] 9.11比9.9大？多个大模型翻车！业内人士：就是偏科，文科强理科弱

[复制链接]
74527 1
黄贵奇 发表于 2024-7-17 13:42:36 | 只看该作者 打印 上一主题 下一主题
 
全文共1353字，阅读大约需要3分钟




9.11比9.9大？多个大模型翻车！业内人士：就是偏科，文科强理科弱 第1张图片




ChatGPT，在被问到“9.11和9.9哪个大”时回复称，小数点后面的数字“11大于9”，因此9.11大。





近日，在新一期的《歌手》节目中，孙楠与外国歌手的微小分数差异，引发了网友关于13.8%和13.11%谁大谁小的争论。


有网友竟给出“13.11%大于13.8%”的错误答案。当时就有网友提出，自己不会的话，“实在不行问问AI呢”？结果显示，不少AI还真的不行。


第一财经记者拿“9.11和9.9哪个大”的问题一一测试了ChatGPT以及目前国内的主流大模型，包括阿里、百度等5家大厂模型，月之暗面等6家AI独角兽的模型。阿里通义千问、百度文心一言、Minimax和腾讯元宝4家大模型答对，其他8家则答错。


9.11比9.9大？多个大模型翻车！业内人士：就是偏科，文科强理科弱 第2张图片




首先是目前全球公认第一梯队的大模型ChatGPT，在被问到“9.11和9.9哪个大”时回复称，小数点后面的数字“11大于9”，因此9.11大。


记者追问ChatGPT有没有其他比较方法，它将小数转化成分数比较，得出 “11/100比90/100小”，这一步是对的，但它接着下结论称“因此9.11比9.9大”。


9.11比9.9大？多个大模型翻车！业内人士：就是偏科，文科强理科弱 第3张图片




大模型这一算术问题最开始被艾伦研究机构(Allen Institute)成员林禹臣发现，他在X平台上发布的截图显示，ChatGPT-4o在回答中认为13.11比13.8更大。“一方面AI越来越擅长做数学奥赛题，但另一方面常识依旧很难。”他表示。


这类大模型说胡话的现象，在业界被称为大模型出现幻觉。此前，哈尔滨工业大学和华为的研究团队发表的综述论文认为，模型产生幻觉的三大来源：数据源、训练过程和推理。大模型可能会过度依赖训练数据中的一些模式，如位置接近性、共现统计数据和相关文档计数，从而导致幻觉。此外，大模型还可能会出现长尾知识回忆不足、难以应对复杂推理的情况。


值得一提的是，此前，“Al高考测试最高分303”话题也曾火上热搜，引发了社会各界对AI 教育能力的深入思考和讨论。


以数学试卷为例，9款大模型产品中，仅GPT-4o、文心一言4.0和豆包获得60分以上成绩（满分150分），目前的大模型只能正确推理步骤相对简单的问题。


9.11比9.9大？多个大模型翻车！业内人士：就是偏科，文科强理科弱 第4张图片




与人类顶尖考生相比，大模型在数学、物理、化学等数理学科上差距极大，包括GPT-4o在内的所有大模型都无法达到及格水平。尽管在语文、英语两科上能获得高分，大模型的理科最好成绩还无法进入人类考生的前30%。


针对大模型答数学题普遍“吃瘪”的问题，国内某头部大模型负责人就曾表示，大模型的指令遵循或者说推理能力通常是把一个指令背后的意思拆解出来，但数学题既包含规则性，又包含对各种思维的考察，解题逻辑和正常用大模型时的推理逻辑不一定完全一样。


同时该负责人还提到，从更广泛的大模型应用角度来看，AI能不能精准遵循指令是近一段时间内比较重要的事情，真正的商业价值也比较大可能来自于此，而解数学题对目前的AI来说还是一件比较“炫技”的事情。


另有业内人士向南都记者表示，目前来看大模型的数理能力相对较差的情况在中外都是一样的，“打个比方可以这样讲，大模型就是偏科，文科强理科弱，这个情况在一段时间内也不会得到明显的改善”。


编辑丨林琴  北京商报综合 第一财经、南方都市报、科创板日报图片丨视觉中国、ChatGPT截图、第一财经微信公众号、南方都市报微信公众号
9.11比9.9大？多个大模型翻车！业内人士：就是偏科，文科强理科弱 第5张图片



上一篇：iPhone16对不起 我要等着买iPhone17 这四大升级太香了！
下一篇：中国大陆发力成熟芯片，连续占据光刻机巨头ASML半数营收
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报
回复

使用道具 举报

 

精彩评论1

正序浏览
跳转到指定楼层
沙发
杨明应 发表于 2024-7-17 22:18:47 | 只看该作者
 
9.9是9.90。90不比11大？？？？？
回复 支持 反对

使用道具 举报

 
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

黄贵奇中级会员

0关注

2粉丝

56帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-9-14 16:11