本地推理

纯C编写的MoE推理引擎，可在个人硬件上运行千亿参数稀疏模型，无需依赖大型GPU集群。

开源隐私优先的语音转文字听写应用，支持本地和云端模型，跨平台替代WisprFlow和Granola。

从零训练极小语言模型的完整教程和代码库，帮助个人以极低成本（3元/2小时）入门LLM训练。

OpenClaude 是一个开源编码代理 CLI，支持多种云和本地模型，统一终端工作流，提升开发效率。

Heretic 是一个自动去除语言模型审查的工具，无需微调即可让模型回答敏感问题。

VoiceStudio是本地运行的语音克隆、配音、听写和有声书制作工具，可作为ElevenLabs的免费替代方案，支持646种语言。

Munder Difflin是一个本地多智能体编排桌面应用，将多个AI代理（如Claude Code）组织成协作团队，通过可视化界面管理和协调任务。

Ollama是一个本地运行开源大语言模型的工具，通过命令行和API让开发者轻松部署和使用各种模型。

oMLX 是一个针对 Apple Silicon 优化的 LLM 推理服务器，提供连续批处理和分层 KV 缓存，通过 macOS 菜单栏管理，让本地运行大型语言模型变得简单高效。

在本地 GPU 上运行的开源桌面应用，将图片快速转换为 3D 模型，无需云服务或高昂软件。

FluidVoice是macOS上最快的本地语音转文字应用，支持多种离线模型和AI增强，保护隐私。

为精选模型（DeepSeek V4、GLM 5.2）提供高性能本地推理引擎，解决在消费级硬件上运行顶级开源模型的需求。

将大型语言模型打包为单个可执行文件，无需安装即可跨平台运行，降低AI部署门槛。

RunAnywhere是一个跨平台本地AI推理SDK，让开发者只需一个API即可在手机、浏览器、桌面和服务器上运行LLM、语音、视觉和图像生成。