GitHub - Michael-A-Kuykendall/shimmy: ⚡ Python-free Rust inference server — OpenAI-API compatible. GGUF + SafeTensors, hot model swap, auto-discovery, single binary. FREE now, FREE forever.

⚡ Python-free Rust inference server — OpenAI-API compatible. GGUF + SafeTensors, hot model swap, auto-discovery, single binary. FREE now, FREE forever. - Michael-A-Kuykendall/shimmy

https://github.com/Michael-A-Kuykendall/shimmy

核心功能

• 兼容OpenAI API：可直接替换现有AI工具的API端点，无需修改代码

• 本地模型自动发现：支持Hugging Face缓存、Ollama模型及本地目录模型

• 多GPU加速：支持CUDA、Vulkan、OpenCL、MLX等多种后端加速

• 零配置部署：自动分配端口避免冲突，开箱即用

• 轻量级设计：体积仅10-20MB，启动速度<100ms，内存占用约50MB

• 灵活模型管理：支持LoRA适配器和模型热切换

适用场景

• 本地AI应用开发：无需依赖云服务API，加速开发流程

• 隐私保护项目：适合对代码和数据隐私有严格要求的企业或个人

• 成本敏感用户：降低AI使用成本，避免云服务API费用

• 开发工具集成：可嵌入VSCode扩展、Cursor编辑器、Continue.dev等工具

• 资源受限环境：能在低配置设备中运行本地大语言模型