GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

[OliverDD]

发现一篇很有意思的论文 https://arxiv.org/abs/2410.05229，v2 上没什么讨论。

论文质疑 GSM 评测指标的合理性，并通过一些 trick 来给原本的题目作出数值替换、加一些干扰子句，发现各大模型“推理”能力都显著下滑甚至砍半。