Cerebras Systems выпустила Cerebras Inference, «самый быстрый движок для выводов ИИ». Способное обрабатывать 1800 токенов в секунду для модели Llama3. 1* 8B и 450 токенов в секунду для модели Llama3*.
1 70B, Cerebras Inference в 20 раз превосходит решения на базе GPU от NVIDIA. . ferra.ru
2024-9-2 12:45