前言

上一期我们在我们本地 Mac 设备上部署了DeepSeek-R1 大模型,这一期我们将会实现所有设备随时随地访问本地部署的大模型,让你彻底实现 AI 自由。

演示

MacBook:

2025-01-22T20:23:08-vpdscgau.png

iPhone:

2025-01-22T20:25:58-ahzookfp.webp

教程

1、Mac 端部署本地大模型

这一步我们上一篇文章已经介绍过怎么本地部署大模型了,没看过的小伙伴可以跳转查看一下这一篇文章“DeepSeek-R1 发布,性能对标 OpenAI,手把手教你本地部署,让你实现 AI 大模型自由”。

2025-01-22T20:32:23-ozsqunmg.png

2、在Mac上使用内网穿透

我们在本地安装好 ollama 之后可以在浏览器访问 http://localhost:11433/或者 http://127.0.0.1:11433/

2025-01-22T20:36:02-bgrtofoi.png

如果输出 Ollama is running 就说明我们本地服务已经跑起来了,接下来我们需要将服务暴漏在公网里,这样才能让你的 iPhone 或者 Mac 远程访问到本地服务。

这里我用ngrok来演示内网穿透效果,你可以使用 Frp 或者其他的内网穿透软件。如果使用 Frp 可以参考我之前写的这篇文章“手把手教你使用 Frp 搭建内网穿透服务

2025-01-22T20:43:51-dkpvvvhl.png

  1. 注册ngrok
    打开ngrok的官网https://ngrok.com/

    2025-01-22T20:46:40-joerjfig.png
    点击右上角的 sign up 进行注册。

    2025-01-22T20:47:59-rtycuysw.png

    注册之后之后会让你绑定1Password, Google Authenticator, 或者Microsoft Authenticator这几个APP来做二步验证的。

2025-01-22T20:48:52-chjpkpsy.png

  1. 安装ngrok

    2025-01-22T20:55:33-quekbrpw.png

    可以看到官方有两种安装方式,我们推荐使用 homebrew 安装。

    • 打开终端,粘贴下面的代码安装 ngron;
    brew install ngrok
    

2025-01-22T20:59:16-lrfqevcp.png

  • 做一下账号绑定,

    2025-01-22T21:01:15-qujrwqdp.png

    打开终端 粘贴 ngron 上的这行代码。

    2025-01-22T21:02:22-wgggnjmp.png

    1. 使用 ngron
      在终端中,用下面的命令来简历一个HTTP隧道,代理本地的ollama11434端口

      ngrok http 11434 --host-header="127.0.0.1:11434"
      

2025-01-22T21:05:32-gjzfzydl.png

图中 forwarding 的就是我们需要的地址 https://abfe-*****-710b.ngrok-free.app

注意,不要关闭这个窗口。

在任意设备(只要能联网)访问它:

点击 Visit Site,如果出现 Ollama is running就说明我们远程代理成功了

2025-01-22T21:07:56-ostiodmk.png

2025-01-22T21:09:39-yyrpfcym.png

ngrok很方便地将你本地的服务发布到公网,十分适合Web开发的测试和演示。切记每次使用时检查一下安全设置,确保不会暴露敏感数据。

3、其他设备远程访问

  1. 现在我们一切都准备好了,就缺一个可以前台访问的 app。这里我推荐使用的是Enchanted;

    Enchanted 是一款适用于 iOS 和 macOS 的应用程序,可使用 Ollama 与私有自托管语言模型进行对话。

  2. 我们可以在 App Store 下载安装Enchanted,

    2025-01-22T21:14:03-mpeqvhes.png

    1. 连接Enchanted与本地Ollama

      2025-01-22T21:18:39-vglniisx.png

      打开Enchanted的设置,把我们刚才的获得的公网链接粘贴到这里,然后 save 保存。

    2. 这样我们就实现了远程设备访问本地的 Ai 大模型了

      2025-01-22T21:20:14-dsmnrupv.png

      2025-01-22T21:20:23-ygxaapqq.png

      2025-01-22T21:20:29-bscwtwte.png

结束

现在我们就可以随时随地的访问我们本地的大模型了 赶紧玩起来吧~