
私有化部署本地大语言模型,让你所有设备可以安全、私密,随时随地访问!
前言
上一期我们在我们本地 Mac 设备上部署了DeepSeek-R1 大模型,这一期我们将会实现所有设备随时随地访问本地部署的大模型,让你彻底实现 AI 自由。
演示
MacBook:
iPhone:
教程
1、Mac 端部署本地大模型
这一步我们上一篇文章已经介绍过怎么本地部署大模型了,没看过的小伙伴可以跳转查看一下这一篇文章“DeepSeek-R1 发布,性能对标 OpenAI,手把手教你本地部署,让你实现 AI 大模型自由”。
2、在Mac上使用内网穿透
我们在本地安装好 ollama 之后可以在浏览器访问 http://localhost:11433/
或者 http://127.0.0.1:11433/
如果输出 Ollama is running
就说明我们本地服务已经跑起来了,接下来我们需要将服务暴漏在公网里,这样才能让你的 iPhone 或者 Mac 远程访问到本地服务。
这里我用ngrok来演示内网穿透效果,你可以使用 Frp 或者其他的内网穿透软件。如果使用 Frp 可以参考我之前写的这篇文章“手把手教你使用 Frp 搭建内网穿透服务”
-
注册ngrok
打开ngrok的官网:https://ngrok.com/
点击右上角的 sign up 进行注册。注册之后之后会让你绑定1Password, Google Authenticator, 或者Microsoft Authenticator这几个APP来做二步验证的。
-
安装ngrok
可以看到官方有两种安装方式,我们推荐使用 homebrew 安装。
- 打开终端,粘贴下面的代码安装 ngron;
brew install ngrok
-
做一下账号绑定,
打开终端 粘贴 ngron 上的这行代码。
-
使用 ngron
在终端中,用下面的命令来简历一个HTTP隧道,代理本地的ollama11434端口ngrok http 11434 --host-header="127.0.0.1:11434"
-
图中 forwarding 的就是我们需要的地址 https://abfe-*****-710b.ngrok-free.app
注意,不要关闭这个窗口。
在任意设备(只要能联网)访问它:
点击 Visit Site,如果出现 Ollama is running
就说明我们远程代理成功了
ngrok很方便地将你本地的服务发布到公网,十分适合Web开发的测试和演示。切记每次使用时检查一下安全设置,确保不会暴露敏感数据。
3、其他设备远程访问
-
现在我们一切都准备好了,就缺一个可以前台访问的 app。这里我推荐使用的是Enchanted;
Enchanted 是一款适用于 iOS 和 macOS 的应用程序,可使用 Ollama 与私有自托管语言模型进行对话。
-
我们可以在 App Store 下载安装Enchanted,
-
连接Enchanted与本地Ollama
打开Enchanted的设置,把我们刚才的获得的公网链接粘贴到这里,然后 save 保存。
-
这样我们就实现了远程设备访问本地的 Ai 大模型了
-
结束
现在我们就可以随时随地的访问我们本地的大模型了 赶紧玩起来吧~