LOADING加载中
普林斯顿推出SSoN空间智能基准:人类准确率83.3%,模型最高39.7%
普林斯顿大学AI Lab推出空间智能基准SSoN,评估模型在静态跨视角图像中的三维空间理解能力。测试要求受测者从四张室内场景图中找出不属于同一空间的图像。结果显示,人类准确率为83.3%,受测视觉语言模型最高为39.7%,多数模型低于四选一的随机基线。研究发现,模型在物体移动、视角旋转等几何推理任务上表现较弱,部分正确答案的解释也缺乏逻辑依据。实验显示,文字提示和三维重建带来的提升有限;提供真实相机参数可改善成绩,但准确率仍未过半。针对任务进行监督微调后,模型在未见过的房间测试中准确率近乎翻倍。
评论
0