新足迹 › 论坛 › 兴趣爱好区 › IT与科技 › 电脑和宽带 › 请教有无本地AI（免费）可提供API接口的？ ...

精华好帖回顾
· 走走停停，环澳之东北篇--16000公里 (2014-2-15) dadajuan	· 小鱼尼莫的咖啡荷香包 (2006-12-28) poloand
· 两个吃货泰国华欣曼谷7日游-享乐行程主要是享受和美食，还有大城遗址照片。 (2013-3-16) city07	· 我收集整理的育儿经：让孩子少生病的日常保健！ (2009-1-7) 海边小妹

查看: 882|回复: 10

请教有无本地AI（免费）可提供API接口的？ [复制链接]

呼呼呼

皮靴族

发表于 2025-8-8 12:20 |显示全部楼层

此文章由呼呼呼原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者呼呼呼所有！转贴必须注明作者、出处和本声明，并保持内容完整

请教有无本地AI（免费）可提供API接口的？

即：下载到本地运行，可提供api接口。

问：哪个对编程支持比较好？哪个对文本处理比较好？（比如写总结，翻译之类的）

一开始想直接用在线付费的，但是费用不好控制。如果有能下载到本地的免费的最好了。不考虑“精度”，便宜免费能凑合用就行。但是一定需要API接口

抠脚大叔

scoopy

金靴族

发表于 2025-8-8 12:33 |显示全部楼层

此文章由 scoopy 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 scoopy 所有！转贴必须注明作者、出处和本声明，并保持内容完整

问AI呀

finger|regnif

皮靴族

发表于 2025-8-8 13:20 |显示全部楼层

此文章由 finger|regnif 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 finger|regnif 所有！转贴必须注明作者、出处和本声明，并保持内容完整

ollama?

xmessa

游客

发表于 2025-8-8 14:52 |显示全部楼层

此文章由 xmessa 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xmessa 所有！转贴必须注明作者、出处和本声明，并保持内容完整

本地的 DS呗可以直接用OPENAI的接口

Mushroomm

铜靴族

发表于 2025-8-8 15:04 |显示全部楼层

此文章由 Mushroomm 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Mushroomm 所有！转贴必须注明作者、出处和本声明，并保持内容完整

本帖最后由 Mushroomm 于 2025-8-8 14:10 编辑

一定需要API接口，那就ollama了。几十个free llm随意挑。这个星期OpenAI刚release的gpt-oss:20b看起来不错，正准备装在laptop上试一下
编程可以试试codellama. 文本处理就用gpt-oss:20b. ollma一起serve起来，api request中想用哪个用哪个。

呼呼呼

皮靴族

发表于 2025-8-8 15:55 |显示全部楼层

此文章由呼呼呼原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者呼呼呼所有！转贴必须注明作者、出处和本声明，并保持内容完整

谢谢答复。再深入一下：

有无人测试本地AI实际使用过程中的功耗情况？已知不同设备功耗不同。只是大致。

比如：电源待机时实际功耗；响应不同任务时的实际功耗？（24小时待机，对耗电敏感）

抠脚大叔

zn7726

水晶靴族

发表于 2025-8-8 16:04 |显示全部楼层

此文章由 zn7726 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 zn7726 所有！转贴必须注明作者、出处和本声明，并保持内容完整

呼呼呼发表于 2025-8-8 14:55
谢谢答复。再深入一下：

有无人测试本地AI实际使用过程中的功耗情况？已知不同设备功耗不同。只是大致 ...

你对耗电敏感对初期硬件投入不敏感吗？

这些大语言模型，在windows上跑要大显存显卡，估计要2000-3000起吧。在Mac上要大内存，mac的内存你懂的，都是金子做的。

我在公司发的M1 16G MBP试过ollama，好像试过一个10几b的模型，卡到死。7b的勉强。CPU和内存都满，而且我下载两个LLM后本地硬盘也基本满了，不知道瓶颈是哪个。写代码还是用网络上的买quote吧，模型不行你就别指望回复质量高了。如果只是问问问题，修改下英文文件，就用免费的chatgpt就行了，别用API了。

xmessa

游客

发表于 2025-8-8 16:44 |显示全部楼层

此文章由 xmessa 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xmessa 所有！转贴必须注明作者、出处和本声明，并保持内容完整

zn7726 发表于 2025-8-8 15:04
你对耗电敏感对初期硬件投入不敏感吗？

这些大语言模型，在windows上跑要大显存显卡，估计要2000-3000起 ...

显存不够所以卡

辰哥

皮靴族

发表于 2025-8-8 21:54 来自手机 |显示全部楼层

此文章由辰哥原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者辰哥所有！转贴必须注明作者、出处和本声明，并保持内容完整

Gemini cli 2.5的就行。装Linux上多搞几个Google账户来回换着用
每次聊天不要超5个问题总结一下后重开一个聊天框继续

jaszhou

铜靴族

发表于 2025-8-11 18:09 来自手机 |显示全部楼层

此文章由 jaszhou 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 jaszhou 所有！转贴必须注明作者、出处和本声明，并保持内容完整

本地不可行，硬件达不到。如果本地可以，为什么微软要花那么多钱去买GPU.

xxxxyyyy

木屐族

发表于 2025-8-11 20:51 |显示全部楼层

此文章由 xxxxyyyy 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xxxxyyyy 所有！转贴必须注明作者、出处和本声明，并保持内容完整

mac studio 512GB统一内存欢迎你

这是我的帖子，本地跑大模型的设备
https://www.oursteps.com.au/bbs/ ... mp;tid=1871371&

返回列表

		自动登录	找回密码
密码			注册

精华好帖回顾

请教有无本地AI（免费）可提供API接口的？ [复制链接]

发表回复

浏览过的版块