Учёные обнаружили появление нового вида цифрового неравенства, названного «налогом токенизатора»: различия в стоимости обработки запросов для языков варьируются в зависимости от их распространённости. По данным Коалиции за языковое равенство в исследованиях ИИ (CLEAR), эти расхождения не ограничиваются доступом к данным, а ощутимо влияют на стоимость использования языковых моделей и сервисов. Исследование опирается на корпус FLORES-200, в котором указывается различие между более и менее распространёнными языками в контексте обработки текста и токенов. В итоге речь идёт не только о лингвистических особенностях, но и о финансовых барьерах для носителей редких языков.

Сравнение обработок запросов на двадцати наиболее распространённых в интернете языках показало, что разница в количестве токенов между наиболее и наименее ресурсоёмкими вариантами варьировалась от 1,5 до 5 раз, в зависимости от конкретной модели ИИ. Эти цифры подчёркивают, что даже в рамках ограниченного набора языков различия заметны и не являются единичным случаем. Авторы подчёркивают, что строгого соответствия стоимости обработки между языками нет и многое зависит от текста и контекста.

Однако при расширении выборки до двести языков разрыв достигал максимума: для отдельных моделей он мог составлять до 17 раз. Приведён пример с малаялам — текст на этом языке может требовать большего числа фрагментов по сравнению с эквивалентной англоязычной формулировкой: одна и та же фраза на английском и малаяламам составили 13 и 26 токенов соответственно. При этом подчёркнуто, что английский часто остаётся выгоднее по стоимости, но строгого правила о пропорциях нет: многое зависит от конкретного текста и контекста.

Чтобы уменьшить разрыв, специалисты называют несколько целевых путей: расширение качественных многоязычных данных в обучающих выборках и целенаправлённая разработка токенизаторов под разные письменности. Однако увеличение объёма данных не гарантирует полного устранения проблемы: важна работа над самим алгоритмом разбиения текста. Важное замечание авторов — разработчики ИИ должны осознавать необходимость снижения цифрового неравенства в сфере искусственного интеллекта и не полагаться на волнующие, но неполные решения.