Квантизация

Что нового whichllm — это консольный инструмент, который подбирает лучший локальный LLM под ваш конкретный компьютер, а не просто самый большой, который влезает в видеопамять. Ключевые новшества и циф...

Что появилось / что изменилось PrismML выпустила 1‑bit Bonsai — языковую модель на 8,19 млрд параметров, ужатую до объёма около 1,3 ГБ. Базовая FP16‑версия требовала бы 16,38 ГБ, то есть 1‑bit Bonsai ...

Что появилось / что изменилось SwiftLM — это нативный Swift-сервер для инференса, который запускает MLX‑модели на Apple Silicon и полностью копирует API OpenAI (/v1/chat/completions, стриминг и т.п.)....

Что появилось / что изменилось Google Research представила алгоритм TurboQuant для инференса больших языковых моделей. Он работает только с KV‑кешем — «рабочей памятью» механизма внимания, которая жив...

Что открыли Google Research предложила алгоритм TurboQuant для больших языковых моделей вроде Llama 3.1 или Qwen. Он сжимает KV‑кеш — это часть памяти, где модель хранит промежуточные данные внимания ...

Что появилось / что изменилось Google Research представила TurboQuant — алгоритм сжатия памяти для ИИ-моделей, которые работают с KV-кэшем (кэш ключей и значений в трансформерах). Главное: - TurboQua...