GPT-4不会图形推理?“放水”后准确率依然只有33%

新闻资讯   2023-11-21 21:38   49   0  

针对GPT-4在图形推理上的表现,一项研究发现,它的准确率仅为33%,而人类平均正确率则达到了91%。在实验中,研究者使用了ConceptARC数据集,包含16个子类的图形推理题。然而,实验结果受到一些质疑,包括受试者选择方式、GPT输入方式以及数据多样性等方面。另外,GPT-4在对欧氏几何的理解上,表现不如人类。这些研究结果表明,尽管GPT-4具有强大的语言能力,但在图形推理方面仍有待提高。此外,另一项研究指出,GPT-4在自我纠正的场景下,准确性大幅下降,与其本身的猜测颜色准确率相差不大。不过,实验结果也发现,GPT-4具备一定的推理能力,在特定场景下表现甚至与人类相当。但总体来看,GPT-4在图形推理上的表现仍有待提升。

博客评论
还没有人评论,赶紧抢个沙发~
发表评论
说明:请文明发言,共建和谐网络,您的个人信息不会被公开显示。