测试AI的秘密武器！知乎豆瓣小红书不如“弱智吧”？

近期，中科院等众多高校的学生一起在一项AI测试的研究中发现，使用“弱智吧标题+GPT-4回答”微调后的大模型评估结果，超过了他们在知乎、百科、豆瓣、小红书等平台上收集到的专业数据，并将其写进了论文里。

“弱智吧”源自百度贴吧，因荒谬、离奇的言论风格出名。“弱智吧”中的帖子，内容中有大量的一语双关、一词多义、因果倒置、谐音梗等，暗含许多逻辑陷阱。比如“一个半小时是几个半小时”“为什么我爸妈结婚时没有邀请我”“午餐肉可以晚上吃吗”……这些脑洞大开的提问被用来测试大模型的功能，也有助于增强AI的逻辑推理能力。

“弱智吧”在问答、头脑风暴、分类、生成、总结、提取等8项测试中取得最高分 图源：论文截图

知乎创始人周源曾在接受媒体采访时称，我国在大模型领域取得了一定的成就，但仍面临着一些挑战，其中最显著的问题之一是高质量中文语料资源的短缺。虽然国内存量数据资源丰富，但由于数据挖掘不足、无法自由在市场上流通等现状，目前中文优质数据仍然稀缺。

由此或许可以得到启示：我们不应该局限于传统的数据源，而是要敢于尝试更加多样化、具有挑战性的数据，才能不断推动人工智能技术的发展。