Cerebras представила самый быстрый в мире движок для выводов ИИ

Cerebras представила самый быстрый в мире движок для выводов ИИ
ФОТО: ferra.ru

Cerebras Systems выпустила Cerebras Inference, «самый быстрый движок для выводов ИИ». Способное обрабатывать 1800 токенов в секунду для модели Llama3. 1* 8B и 450 токенов в секунду для модели Llama3*.

1 70B, Cerebras Inference в 20 раз превосходит решения на базе GPU от NVIDIA. .

cerebras представила самый быстрый мире движок выводов

2024-9-2 12:45