Alibaba предложила революционное решение для экономии графических процессоров: заменили 1000 GPU Nvidia всего 200
На фоне дефицита графических процессоров в Китае и вводимых ограничений на их импорт, компания Alibaba нашла выход из сложившейся ситуации. Новая система, разработанная в Alibaba под названием Aegaeon, привела к снижению потребности в ускорителях на 82%, обеспечивая при этом снижение задержек на 97% и многократно повысив общую эффективность.
Секрет кроется в том, что теперь один графический процессор способен обрабатывать до семи моделей одновременно, переключаясь между ними на уровне токенов.
Может быть, это шаг ближе к искусственному общему интеллекту?