GitHub 上有一套 Self-Hosting 指南,21k star,涵盖了从零开始搭自托管服务的完整路径。适合想摆脱云服务依赖、注重数据隐私的开发者。
核心内容
LLMs 本地部署
- Ollama 本地跑 LLM(最简单方案)
- llama.cpp 量化模型跑在普通 CPU 上
- 硬件推荐配置(显存、内存)
WireGuard 异地组网
- VPS 上搭 WireGuard 隧道
- 手机/电脑如何接入内网
- 绕过网络限制的实操
Home Assistant 智能家居
- 本地控制米家、Yeelight 设备
- 不走云端,不数据上报
- 自动化场景配置
我的选择
个人开发者最值得自托管的是 WireGuard——一年几百块大洋的 VPS,搭好之后所有联网设备都在同一个内网里,安全感很足。
data-ad-format="fluid" data-ad-layout-key="-7k+ex-4a-9w+4a">LLM 本地化要看硬件投入,8G 显存能跑量化后的 Qwen,跑生产级应用还是吃紧。
文档质量
这本指南的好处是实操性强:每个步骤都有配置示例,出错了有排查路径。不是那种列一堆工具名字就算完了的盘点文。
推荐有自托管需求的开发者收藏。