曝光!英特尔编译器操控基准测试,至强 CPU性能受质疑
Lasted 2024-02-19 11:47:42
虽然那些基准啊,总是有人争议,而且也不全能代表真实情况,但它们在量化评估里还是挺重要的。这就是为啥那些书呆子们对基准研究得那么透彻。不仅如此,很多公司还要靠第三方基准结果来做出几百万甚至几十亿美元的投资决定。所以,当有人发现某公司在基准测试上搞鬼时,那可就是大事儿了。最近,英特尔至强 CPU 的一些具体测试结果引起了人们的关注。
就拿标准性能评估公司(SPEC)来说吧,他们在广受欢迎的 SPEC CPU 2017 工业测试中,宣布了 2022 年和 2023 年版至强处理器的 2600 多项测试结果都不靠谱。他们查查发现,英特尔用的编译器有点“花样”,他们说:“利用对 SPEC 代码和数据集的先验知识,搞了一套专门提高 523.xalancbmk_r / 623.xalancbmk_s 基准性能的花招”。
简单来说,SPEC 指责英特尔为了这些基准测试专门优化了编译器,这意味着测试结果可能不太准确地反映了最终用户的真实性能。英特尔的那套特制编译器可能夸大了 SPEC 测试结果约 9%。要是想深挖技术细节的话,可以看看 ServeTheHome 和 Phoronix 的报告,他们通过 Tom's Hardware 提供了相关信息。
SPEC 在自己的基准数据库里翻了翻,发现了这些问题。虽然他们不会删掉这些数据以保留历史记录,但会在报告里说这些数据是无效的。至于最新的工业级至强处理器(第 5 代 Emerald Rapids 系列),它们用的编译器版本稍微更新了一点,但没用这些被叫做“性能增强 API”的花招。