业界需要客不雅、公说念、高水准的优质榜单匡助全球慧眼识珠、去伪存真,“考官”若是协助“考生”舞弊,无疑会骚扰AI大模子的评测环境
文|周琳 董雪
“百模大战”以来,AI大模子的部分榜单上出现了一个奇怪征象:永远盘踞在榜单前方的,同样是一些名不见经传的国产大模子,它们尽然以接近满分的上风碾压了ChatGPT、Gemini和其他着名的AI大模子。
之是以令东说念主大跌眼镜,是因为这与内行的本色体验严重不符。不少AI大模子分数名列三甲,实力却不足格。若是说“听不懂答不合、动不动就崩溃”司空见惯,那么更调侃的是,有的大模子根底没对业界怒放,就算全球思感受一下“第又名”的风姿都找不到路途。
有东说念主可能会有趣:一些AI大模子“高分拙劣”是何如作念到的?原因其实很浅近,那即是评测中出现了数据玷辱和走漏。浅近来说,榜单排行访佛于有第三方“考官”出了一个题库,题库中多半考题针对性测评大模子各个方面的智力,而有的“考生”提前拿到题库,并把谜底一一背了下来。
“考高分”的主意也很明确,那即是看风使舵、炒作包装。业内东说念主士告诉记者,在国内稠密大模子犀利竞争、良莠不王人确当下,很多大模子还未在用户之间酿成过硬的口碑,离产生宇宙级影响还有较远的一段路。而评测是直不雅体现大模子智力的要害神色之一,学术化榜单和市集化榜单都赢得了等闲宠爱,刷榜跑分因此成为一些企业快速眩惑眼球的技能。
固然,榜单失果真背后,不单要舞弊的“考生”,也可能有徇私的“考官”。业界需要客不雅、公说念、高水准的优质榜单匡助全球慧眼识珠、去伪存真,“考官”若是协助“考生”舞弊,无疑会骚扰AI大模子的评测环境。所幸咱们看到,部分榜单在遭遇刷榜跑分问题后,实时推出挽救形状,举例将公开大模子和非公开大模子辞别为两张榜单,得胜挤出多半非公开大模子的水分。
是金非金焰烈而晓,部分大模子企业一心扑在刷榜跑分上判辨走偏了阶梯。说到底AI大模子的发展依然那句老话,要害中枢技巧要不来、买不来、讨不来,更包装不来,唯有一步一个脚印,扎塌实实地上前走。
【频说念着手】南边+客户端不雅点频说念