Nvidia представила инструмент для совместной работы видеокарт нескольких компьютеров

Nvidia представила Personal AI Router, PAIR — инструмент, который позволяет объединять видеокарты нескольких компьютеров в одной локальной сети для выполнения задач искусственного интеллекта. Решение распределяет подзадачи между доступными GPU и использует свободные вычислительные ресурсы устройств.

PAIR предназначен для работы с локальными ИИ-агентами. Когда пользователь ставит агенту сложную задачу, тот может разделить ее на несколько подзадач. PAIR распределяет их между компьютерами в сети, если на их GPU есть свободные ресурсы, а затем возвращает результаты на основной компьютер. Это позволяет снизить нагрузку на одну видеокарту и потенциально ускорить выполнение задач.

Система работает по принципу эластичного распределения ресурсов. Если владелец одного из компьютеров начинает использовать GPU для игр, работы или собственных ИИ-задач, PAIR перестает рассчитывать на доступные мощности этого устройства. Гарантированного времени выполнения задач нет, поэтому технология больше подходит для длительных процессов, которые не требуют строгих сроков.

Для подключения PAIR создает прокси для популярных локальных ИИ-платформ LM Studio и Ollama. Устройства в сети обнаруживаются через mDNS или IP-адрес, а модели при необходимости можно загрузить на подключенные компьютеры. При этом на разных узлах не обязательно должны быть установлены одинаковые модели — наличие одной и той же модели на нескольких компьютерах лишь увеличивает количество доступных узлов для соответствующих запросов.

PAIR поддерживает компьютеры с видеокартами Nvidia GeForce RTX 20-й серии и новее, а также системы на базе DGX Spark и других устройств с чипом GB10. Для локального вывода также поддерживаются Mac с процессорами серии M4 и новее. Клиент будет доступен для Windows, macOS и Linux.

Источник: tomshardware.com