精华好帖回顾
· 火大！我的亲身经历，黑心地产中介这必须算一个！ (2005-4-29) noin	· granny flat进行时－（工程完毕，组图已上） (2010-11-17) Gelen
· 猎梦人谈抄底 (2008-11-26) 猎梦人	· 马尔代夫真的很漂亮14楼，15楼，16楼，19楼加水下鱼鱼照片 (2011-11-2) mick703

查看: 1132|回复: 10

请教有无本地AI（免费）可提供API接口的？ [复制链接]

发表于 2025-8-8 12:20 |显示全部楼层

此文章由呼呼呼原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者呼呼呼所有！转贴必须注明作者、出处和本声明，并保持内容完整

请教有无本地AI（免费）可提供API接口的？

即：下载到本地运行，可提供api接口。

问：哪个对编程支持比较好？哪个对文本处理比较好？（比如写总结，翻译之类的）

一开始想直接用在线付费的，但是费用不好控制。如果有能下载到本地的免费的最好了。不考虑“精度”，便宜免费能凑合用就行。但是一定需要API接口

抠脚大叔

scoopy

金靴族

发表于 2025-8-8 12:33 |显示全部楼层

此文章由 scoopy 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 scoopy 所有！转贴必须注明作者、出处和本声明，并保持内容完整

问AI呀

finger|regnif

皮靴族

发表于 2025-8-8 13:20 |显示全部楼层

此文章由 finger|regnif 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 finger|regnif 所有！转贴必须注明作者、出处和本声明，并保持内容完整

ollama?

xmessa

皮靴族

发表于 2025-8-8 14:52 |显示全部楼层

此文章由 xmessa 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xmessa 所有！转贴必须注明作者、出处和本声明，并保持内容完整

本地的 DS呗可以直接用OPENAI的接口

Mushroomm

铜靴族

发表于 2025-8-8 15:04 |显示全部楼层

此文章由 Mushroomm 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Mushroomm 所有！转贴必须注明作者、出处和本声明，并保持内容完整

本帖最后由 Mushroomm 于 2025-8-8 14:10 编辑

一定需要API接口，那就ollama了。几十个free llm随意挑。这个星期OpenAI刚release的gpt-oss:20b看起来不错，正准备装在laptop上试一下
编程可以试试codellama. 文本处理就用gpt-oss:20b. ollma一起serve起来，api request中想用哪个用哪个。

呼呼呼

皮靴族

发表于 2025-8-8 15:55 |显示全部楼层

此文章由呼呼呼原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者呼呼呼所有！转贴必须注明作者、出处和本声明，并保持内容完整

谢谢答复。再深入一下：

有无人测试本地AI实际使用过程中的功耗情况？已知不同设备功耗不同。只是大致。

比如：电源待机时实际功耗；响应不同任务时的实际功耗？（24小时待机，对耗电敏感）

抠脚大叔

zn7726

水晶靴族

发表于 2025-8-8 16:04 |显示全部楼层

此文章由 zn7726 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 zn7726 所有！转贴必须注明作者、出处和本声明，并保持内容完整

呼呼呼发表于 2025-8-8 14:55
谢谢答复。再深入一下：

有无人测试本地AI实际使用过程中的功耗情况？已知不同设备功耗不同。只是大致 ...

你对耗电敏感对初期硬件投入不敏感吗？

这些大语言模型，在windows上跑要大显存显卡，估计要2000-3000起吧。在Mac上要大内存，mac的内存你懂的，都是金子做的。

我在公司发的M1 16G MBP试过ollama，好像试过一个10几b的模型，卡到死。7b的勉强。CPU和内存都满，而且我下载两个LLM后本地硬盘也基本满了，不知道瓶颈是哪个。写代码还是用网络上的买quote吧，模型不行你就别指望回复质量高了。如果只是问问问题，修改下英文文件，就用免费的chatgpt就行了，别用API了。

xmessa

皮靴族

发表于 2025-8-8 16:44 |显示全部楼层

此文章由 xmessa 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xmessa 所有！转贴必须注明作者、出处和本声明，并保持内容完整

zn7726 发表于 2025-8-8 15:04
你对耗电敏感对初期硬件投入不敏感吗？

这些大语言模型，在windows上跑要大显存显卡，估计要2000-3000起 ...

显存不够所以卡

国运帮请不要回复我我已经把你们拉黑了回复了我也看不见谢谢

辰哥

皮靴族

发表于 2025-8-8 21:54 来自手机 |显示全部楼层

此文章由辰哥原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者辰哥所有！转贴必须注明作者、出处和本声明，并保持内容完整

Gemini cli 2.5的就行。装Linux上多搞几个Google账户来回换着用
每次聊天不要超5个问题总结一下后重开一个聊天框继续

jaszhou

铜靴族

发表于 2025-8-11 18:09 来自手机 |显示全部楼层

此文章由 jaszhou 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 jaszhou 所有！转贴必须注明作者、出处和本声明，并保持内容完整

本地不可行，硬件达不到。如果本地可以，为什么微软要花那么多钱去买GPU.

xxxxyyyy

皮靴族

发表于 2025-8-11 20:51 |显示全部楼层

此文章由 xxxxyyyy 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 xxxxyyyy 所有！转贴必须注明作者、出处和本声明，并保持内容完整

mac studio 512GB统一内存欢迎你

这是我的帖子，本地跑大模型的设备
https://www.oursteps.com.au/bbs/ ... mp;tid=1871371&

返回列表

		自动登录	找回密码
密码			注册

精华好帖回顾

请教有无本地AI（免费）可提供API接口的？ [复制链接]

发表回复

浏览过的版块