AI benchmarks are broken. Here’s what we need instead.

文章深入探讨了人工智能基准测试领域的核心问题。几十年来，人工智能的评估一直围绕着"机器是否超越人类"这一问题展开。从国际象棋到高等数学，从编程到论文写作，AI模型和应用的性能测试都是将其与单独完成任务的个人的表现进行比较。文章指出这种框架具有诱惑性：将AI与人类在孤立问题上进行比较，具有清晰的边界。然而，这种传统评估方式可能已经不再适用于衡量当代AI系统的真实能力和实用价值，暗示行业需要探索和发展新的评估方法论。