vllm

Что нового Microsoft показала на GitHub рабочий пример, который помогает развернуть первую языковую модель на Foundry Local поверх Azure Local за считанные минуты. Скрипт `catalog_sample.py` автоматиз...

Что нового Amazon добавила в SageMaker AI двунаправочный стриминг для real-time инференса. Это значит, что теперь можно держать одно постоянное соединение и одновременно: - отправлять аудио на сервер;...

Что нового AI Runway — это новый Kubernetes‑нативный слой для развёртывания и управления LLM, который превращает "вызов внешнего API" в полноценную корпоративную inference‑платформу. Ключевые изменени...

Что нового AWS показала, как выжать больше производительности из своих чипов Trainium2 для генеративных моделей с длинными ответами за счёт speculative decoding в связке с vLLM и Kubernetes. Ключевые ...

Что появилось / что изменилось Reka выкатили Reka Edge — компактную 7B‑мультимодальную модель, которую можно поднять локально через vLLM. Она понимает текст, картинки и видео, умеет детектировать объе...

Что появилось / что изменилось Mistral AI запустила инженерную серию Deep Dive и первым кейсом разобрала очень неприятный баг: утечку памяти в vLLM при продакшн-нагрузке. Кейс конкретный: - связка: vL...