vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
vllm — программа с открытым исходным кодом (Apache-2.0) от vllm-project. В репозитории на GitHub у проекта 96 829 звёзд, последнее обновление кода — 12 ноября 2026 г..
Что важно знать
- Лицензия Apache-2.0: исходный код открыт, пользоваться программой можно бесплатно.
- Последний выпуск — v0.33.0rc3 от 2 ноября 2026 г..
- В последнем выпуске есть сборки для: macOS, Linux.
- Основной язык разработки: Python.
Где скачать
Берите программу только с официальных страниц проекта: репозиторий на GitHub и сайт разработчика. Сборки из сторонних источников могут содержать лишнее.
Темы проекта: amd, blackwell, cuda, deepseek, deepseek-v3, gpt, gpt-oss, inference.