Google объявил об открытии TorchTPU — набора инструментов, который позволяет обучать и запускать модели на тензорных процессорах TPU через PyTorch. Разработка сделана в сотрудничестве с командой PyTorch и призвана превратить TPU в полноценную альтернативу CPU и GPU без радикального переноса кода. В открытом стеке сохраняются привычные интерфейсы для отладки, компиляции и распределённых вычислений, чтобы упростить перенос существующих PyTorch‑проектов на TPU.

TorchTPU поддерживает пошаговый режим выполнения для отладки и инструмент torch.compile, который компилирует вычисления для повышения скорости и эффективного использования памяти. В экосистеме Hugging Face добавлена совместимость: в Transformers можно указать device_map="tpu" для запуска на TPU, а Diffusers теперь поддерживает распределение вычислений между несколькими ускорителями. Google также наладила регулярные автоматические тесты на совместимость Transformers с TPU.

В рамках открытого стека идёт работа над инференсом больших языковых моделей в открытых движках. Для vLLM и SGLang подготовлены бэкенды, которые позволяют выполнять модели на TPU; SGLang применяет повторное использование KV‑кэша, чтобы не пересчитывать повторяющиеся части запроса. Также ведётся интеграция с llm-d — системой распределения запросов между узлами, учитывающей сохранённый контекст и разделение этапов обработки входного запроса и генерации ответа.

TorchTPU внедрили в обучении через связку с TorchTitan, что обеспечивает распределённое обучение крупных нейросетей и доступ к специализированным ядрам Pallas. По данным Google, при обучении модели Qwen 3 8B система достигла утилизации ускорителей около 52% и масштабировалась до 8192 TPU Ironwood; такие показатели относятся к конкретной конфигурации и не гарантируют аналогичной эффективности для любых задач.

Открытие TorchTPU расширяет возможности по выбору аппаратной платформы без полной переработки кода под производителя. В сочетании с поддержкой vLLM, SGLang, Hugging Face, Ray и другими проектами Google формирует более единую экосистему для обучения и запуска ИИ‑моделей на CPU, GPU и TPU. При этом открытый код не обеспечивает одинаковой производительности на разных ускорителях, но снижает барьеры для переноса существующих проектов на TPU и упрощает эксперименты.