Разработчик Scale Labs совместно с стартапом Elorian, возглавляемым бывшим исследователем Google DeepMind, представили новый бенчмарк Humanity's Sixth Sense. Он предназначен для проверки способности ИИ считывать неявные сигналы в изображениях и видео. Тест включает 522 задания, разбитые на 288 статичных сцен и 234 видеофрагмента. Моделям задают вопросы, на которые человек обычно отвечает интуитивно: пройдет ли автомобиль между припаркованными машинами, кто в комнате обладает негласной властью, какие намерения человека в кадре.

В испытаниях участвовало 25 актуальных мультимодальных моделей. Контрольная группа людей набрала 93,1% точности. Лидером среди моделей стала GPT-6 Astra с 53,6% корректных ответов, за ней следовали GPT-6.1 Sol — 46,6% и Claude Opus 5.5 — 44,6%. Медиана по выборке составила 30,9%. Другими словами, даже лучший доступный теперь инструмент отвечает на вопросы лишь чуть лучше рандомного выбора.

Изображение для материалов взято с работы Xingang Guo и Brian Jang. Этот факт служит подпоркой к контексту теста и не влияет на выводы о результатах.

Детальный разбор более чем 8,5 тысячи неверных ответов показал корень проблемы: 94% ошибок связаны не с логикой, а с особенностями машинного зрения — модель просто не замечает визуальные маркеры и теряет контекст. Логические ошибки составили около 5%. Попытки исправить положение за счет большего вычислительного бюджета — в среднем 4 тысячи токенов на ответ — не сработали и иногда снижали точность. Эмуляция фокусировки через обрезку кадров дала минимальный эффект.

Вывод Scale Labs предельно конкретен: наращивание возможностей логического вывода не компенсирует архитектурные ограничения базового компьютерного зрения. Это подчеркивает ограниченность современных мультимодальных систем в обработке неявных сигнальных признаков и контекста кадра.