一个能让你在 Mac、甚至 iPhone 上本地跑大模型的开源小工具：Swiftlet
本地跑大模型，很多人的印象是"得有大显卡、大内存"。近期有个开源项目 Swiftlet 想打破这个印象：它让 35B 和 80B 这种量级的 Qwen 大模型，跑在普普通通的苹果设备上——Mac 上 80B 模型只用约 4.3GB 内存，35B 的那个甚至能在 iPhone 上跑起来。 怎么回事？原理说起来不复杂。很多大模型其实是"混合专家"结构，每次真正用到的只是其中一小部分权重。Swiftlet 就是在内存里只常驻那个体积小的"核心"，其余"专家"权重按需从硬盘里临时读取。这样一张 18GB 的 35B 模型，运行时峰值内存只要 2.6GB；42GB 的 80B 模型，峰值约 4.3GB。 能跑多快？ 据项目方在 Mac 上的实测，35B 模型大约每秒 7～11 个 token，80B 约 4.5～5 个 token；35B 在 iPhone 17 上约每秒 1 个 token。速度不算飞快，胜在"能本地跑"——数据不出设备。官方也坦诚说：这些模型每次实际激活的只有约 3B 参数，所以聊天、写作像大模型，但细节记忆会偏弱一些。 对谁有用？
怎么上手？项目是开源免费的（Apache 2.0 协议），有 macOS 14+ 或 iOS 17+ 的苹果设备就能试。35B 那个模型还做成了 App Store 里的 App（叫 Priv AI），iPhone 用户下载就能体验，无需命令行。 来源：GitHub / Hacker News Show HN 链接：https://github.com/leonickson1/Swiftlet |
