- Дата публикации
Что нового AI Runway — это новый Kubernetes‑нативный слой для развёртывания и управления LLM, который превращает "вызов внешнего API" в полноценную корпоративную inference‑платформу. Ключевые изменени...
- Дата публикации
Что нового AWS показала, как выжать больше производительности из своих чипов Trainium2 для генеративных моделей с длинными ответами за счёт speculative decoding в связке с vLLM и Kubernetes. Ключевые ...- Дата публикации
Что появилось / что изменилось Reka выкатили Reka Edge — компактную 7B‑мультимодальную модель, которую можно поднять локально через vLLM. Она понимает текст, картинки и видео, умеет детектировать объе...- Дата публикации
Как Mistral выловила утечку памяти в vLLM и почему это важно всем, кто крутит большие модели
ai_productsЧто появилось / что изменилось Mistral AI запустила инженерную серию Deep Dive и первым кейсом разобрала очень неприятный баг: утечку памяти в vLLM при продакшн-нагрузке. Кейс конкретный: - связка: vL...