[心得] 舊手機也能輕鬆的跑本地生成式AI模型!

作者: k9120303 (k9120303)   2025-05-03 01:14:14
AI揭露:本文有部分段落使用ChatGPT生成,再經筆者潤稿,若有錯誤請再告知。
小弟現在使用的是五年前的舊手機 VIVO iQOO Neo3(12GB+128GB),高通驍龍865,
今天主要是要介紹兩個開源AI APP,讓舊手機也能輕鬆在本地佈署AI模型,無需連網!
1. PocketPal AI
https://github.com/a-ghorbani/pocketpal-ai
PocketPal AI 是一款專為 Android 裝置設計的離線 AI 助手應用程式,
支援載入 GGUF 格式的小型語言模型(SLMs),如 Qwen、Gemma、Phi 等,
讓使用者在無網路連線的情況下也能與 AI 互動。
所有推理運算皆在本機執行,確保資料隱私。
應用程式提供模型下載、切換、性能測試、個性化 AI 助手(Pals)等功能,
並可透過 Hugging Face 直接搜尋與管理模型,適合開發者與 AI 愛好者使用。
這邊推薦使用Q8量化過的Google Gemma 3 1B,
繁體中文使用友善,是個人覺得最聰明的小語言模型,沒有之一。
https://i.imgur.com/6CBwxJk.png
2. Stable Diffusion AI (SDAI)
https://github.com/ShiftHackZ/Stable-Diffusion-Android
(F-Droid上的SDAI FOSS版本沒有廣告)
SDAI是一款讓 Android 裝置可離線執行 Stable Diffusion 的應用程式。
支援完整原生 Python 環境與 Web UI,
可本地生成 AI 圖像,支援模型自訂與提示詞輸入。
最新版更整合 Microsoft ONNX Runtime(Beta),
可透過 ONNX 模型加速推論,提升效能與相容性,
讓用戶在手機上體驗 AI 圖像生成,無需依賴雲端或電腦。
發現這APP的時候滿驚豔的,有稍微研究過的人就知道,
圖像生成模型不只佈署上麻煩,更需要較強的算力(尤其很吃VRAM),
這APP直接幫你弄好8種環境,還有提供編譯過的ONNX模型供離線使用,非常友善!
https://i.imgur.com/CXEkqav.png
本篇僅是拋磚引玉,雖然距離實用性還有一段不小的距離,
但可以無限生成且不會被卡Prompt限制!也歡迎各位分享使用心得~
作者: ewjfd (無經驗可)   2025-12-12 02:20:00
我家的香蕉放久也會這樣 你會不會是香蕉?
作者: Jokering5566 (揪客56)   2025-05-03 08:21:00
太好了 我的24g ram 8g3終於有用途了
作者: rickphyman42 (neutrino)   2025-05-04 00:28:00

Links booklink

Contact Us: admin [ a t ] ucptt.com