Большие языковые модели Действительно ли модель ИИ №1 №1? В тесте из 2000 вопросов две мои лучшие модели нельзя было отличить друг от друга на обычном уровне 5%. В версии из 200 вопросов другая модель заняла бы первое место примерно три раза из десяти. Новая модель занимает первое место в таблице лидеров с 71,8%. У занявшего второе место 70,0%. По таблице это выглядит как результат. Я хотел знать, какая часть такого пробела принадлежит моделям, а какая — конкретным вопросам, которые случайно оказались в тесте. Крайний случай — AIME, у которого 30 задач. За одну задачу одна задача оценивается…