基于CHATGPT的AI应用创业——寻求建议，以及合作伙伴

jungle

近来AI创业的方向很火，我经过一些思考，也想在这里面做点事情。基本上来说，AI技术在企业的实施，目前还是谈概念的多，真正能够落地的商业应用极少。我本人构思了以下两个产品，并且已经做出了原型：

1. 可定制的客服聊天机器人：
https://mychatbot.com.au

这个东西就是允许用户上传自己的资料来训练自己的聊天机器人，然后嵌入到自己的网站上作为客服机器人使用。说白了，其实和ChatGPT最近推出的GPTs是一回事，但是不同于GPTs只能在ChatGPT网站上使用，MyChatbot既可以嵌入到客户网站上，也可以嵌入到第三方聊天工具，比如Microsoft Teams，WhatsApp，Discord等。以下截图显示一个嵌入到Teams里面的实例：


有几家美国公司，比如CustomGPT, Chatbase等，提供完全相同的产品。因为大家其实背后都用CHATGPT作为AI引擎，效果必然也都是一样的。但是目前在澳洲，我并没有了解到有任何同类公司。

2. 可定制的基于自然语言的数据/报表服务：
https://chatwithsql.com.au

这个说起来有点拗口，大致的意思就是基于客户的关系型数据库结构训练一个定制的ChatGPT模型之后，允许用户通过自然语言去询问数据相关的问题，这个定制模型会即时生成SQL查询，并返回最合理的数据，或者图表的结果。比如，我的网站上展示了用MYSQL的示例数据库SAKILA (一家DVD租赁商店) 训练了的模型，那么它就可以直接回答关于这些数据的问题，比如：

1. Show me top 10 customers who rented the most
2. Only those who between 30 and 40 please
3. Include their ages and birth dates
4. Show the trend of monthly total rentals by store



目前这两个产品已经基本成型，下一步是考虑如何推广，所以发出来寻求一下大家的意见。估计也会有人喷，我都接着先 或者大家关于AI在企业中的落地应用还有什么其他的IDEA，也请不吝赐教！或者有哪些同学有兴趣想要试用一下的话，也请联系我。

本人比较偏技术宅，所以也希望找到对AI应用感兴趣，或者有一些市场资源的朋友，大家一起来看看如何合作。我OPEN TO ANY OPTIONS. 先多谢大家啦

[2024-01-10 更新]：

自己来顶一下这个帖子啊。最近研究了一下OPEN AI的ASSITANT API，发现利用它的API功能，还真是可以把用户身份验证，基于用户身份的信息查询和后端业务操作功能都实现。自己做了一个示例，感觉还不错，应该真是可以替代掉所有人工客服了。



请大家看一下，欢迎提出想法和建议？如果有哪位老板想试用一下，也请不吝跟我联系啊。

xxmplus

支持

安远翔

楼主加油！非常好的构想！点赞！

mzbac

用户隐私怎么保证？

fly02

jungle兄的这两个项目做的还是很惊艳的。
目前AI市场的盈利模式还是处于摸索状态，2c已经有了chatGPT，其余2c只能深耕垂直市场。
2b市场因为安全性，隐私性比较难开展。

fly02

推荐一个方向：想办法走币圈，迭代版worldcoin

jungle

mzbac 发表于 2023-11-20 16:42
用户隐私怎么保证？

对，Data Privacy对于企业级用户是一个非常重要的问题，尤其对于ChatWithSQL这个产品来说，因为涉及到访问公司内部的关键数据，企业必然要慎之又慎。

我的考虑是两点：
1. 我并不会把任何real data提交给ChatGPT. 在ChatWithSQL的架构中，CHATGPT的定制模型只是作为自然语言到SQL QUERY的翻译器来使用，提交给CHATGPT的训练数据仅仅是数据库结构以及相关的解释文档，并不包括任何真实数据内容。一旦CHATGPT将自然语言的问题翻译为SQL QUERY以后，实际上是在公司内网上执行的。
2. 如果用户不放心，我其实可以对企业级用户完全开源。

不知道你觉得这个回答怎么样？

jungle

fly02 发表于 2023-11-20 17:05
推荐一个方向：想办法走币圈，迭代版worldcoin

这个建议没有懂，我对于币圈完全是小白。愿闻其详？

忽然一周

第二个 我有兴趣

baron33

看到第一个例子 就想到可能以后不用人去缅甸了。。。。毕竟那些骗人的术语套路也可以给chatgpt处理

fly02

jungle 发表于 2023-11-20 18:13
这个建议没有懂，我对于币圈完全是小白。愿闻其详？

这个需要涉及到代币经济学的设计了，需要和你当前的技术栈和技术方向绑定的比较紧。

fly02

jungle 发表于 2023-11-20 18:07
对，Data Privacy对于企业级用户是一个非常重要的问题，尤其对于ChatWithSQL这个产品来说，因为涉及到访 ...

基于目前的现状，个人创业者2b似乎是一个伪命题。
如果个人能搞，企业有需求，就自己内部叫人搞了，没有必要冒任何风险，大公司的管理者第一个考虑的就是自己的位子和安全性。

fly02

jungle 发表于 2023-11-20 18:07
对，Data Privacy对于企业级用户是一个非常重要的问题，尤其对于ChatWithSQL这个产品来说，因为涉及到访 ...

不知道你对llm的了解多吗？这是一个很好的个人创业者niche空间。

bracez

我个人的建议，不要你的核心产品建立在OpenAI上。
原因很简单，OpenAI也是商业公司，你做的好了，下一个版本就把你替代掉了。

yzh1999

第一个，如果你是用RAG，已经有成熟的框架。你如果针对微小企业，要有合适的方法整合进业务里
第二个，就像你例子里的那样，现在text2sql
准确率非常地低，你必须要问对问题才会有正确的答案。通常就是一个非常SQL style的问题。另外它转换复杂query，像subquery的能力非常有限。如果你有很好的finetuning，那可能是另一回事。但是这年头，这种小的创新太容易被OpenAI卷死了

jungle

fly02 发表于 2023-11-20 18:09
不知道你对llm的了解多吗？这是一个很好的个人创业者niche空间。

你是指基于开源的LLM，比如Llama 2来构建自己的模型吗？我认为自己做LLM，对于算力和训练两方面的成本投入都不是个人创业者能支撑的，不知道你为什么认为它适合个人创业者呢？愿闻其详

jungle

yzh1999 发表于 2023-11-20 18:13
第一个，如果你是用RAG，已经有成熟的框架。你如果针对微小企业，要有合适的方法整合进业务里
第二个，就像 ...

第一个，确实，现在OPEN AI 的 GPTs和Assistant API出来就是要替代掉这些以前训练的个性化模型的。但是我强调的不是这些语言模型的定制能力，而是我的服务集成能力，毕竟在客户自己的网站上，或者公司的Teams里能够直接使用定制的大语言模型，还是应该有一些价值的，你觉得呢？

第二个，说白了集成在Power BI里的CoPilot就是类似的产品。但是仍然有一点，就是无论OPEN AI还是Microsoft，都不可能说去对每个企业做定制服务，基于客户的数据库结构来调试定制化模型，这对于他们来说太low了，对吧？所以我Add Value主要是在这一点上，我感觉和OPEN AI本身还是错位竞争的，你觉得呢？

另外，不应小看CHATGPT定制调试之后 TXT 2 SQL的能力。按照我自己的测试，我认为它的水平甚至超过一名1~2年左右经验的初级SQL程序员。处理SUBQUERY这类的东西是完全没有问题的。

fly02

jungle 发表于 2023-11-20 19:22
你是指基于开源的LLM，比如Llama 2来构建自己的模型吗？我认为自己做LLM，对于算力和训练两方面的成本投 ...

如果你要是熟悉llm，我们可以展开讲一下。否则只能粗略做个类比：用llm，可以给小微企业做定制化软件开发，这可以有生存和发展空间。
基于chatgpt，相当于基于salesforce, sap进行二次开发，个人或小公司基本没有机会进入。

fly02

jungle 发表于 2023-11-20 19:31
第一个，确实，现在OPEN AI 的 GPTs和Assistant API出来就是要替代掉这些以前训练的个性化模型的。但是我 ...

个人创业者千万不要进入一个误区：技术有多先进。
一定要深度思考：技术如何能卖钱。每天都思考，和每个客户讨论时，都是要围绕着，他们需要什么，我们能卖给他们什么。

bracez

jungle 发表于 2023-11-20 18:22
你是指基于开源的LLM，比如Llama 2来构建自己的模型吗？我认为自己做LLM，对于算力和训练两方面的成本投 ...

使用可商用的Llama 2，利用客户专用数据集进行训练和调优，本地化运行，我觉得这是比直接利用OpenAI API更好的创业方案。

bohandouniwan

我反倒觉得2b有机会，2c的话很容易被模仿 没有啥护城河。楼主可以fine tune llama2 70B吗 ，假设有A100的话。

jungle

fly02 发表于 2023-11-20 18:35
如果你要是熟悉llm，我们可以展开讲一下。否则只能粗略做个类比：用llm，可以给小微企业做定制化软件开发 ...

感谢解释。我对于LLM的内部技术实现了解不多，基本上仅限于到VECTOR DB而已，更多还是从用的层面去了解。

但是，我对于你的类比有点不同意见。为何CHATGPT就不能应用于小微企业呢？SALESFORCE, SAP，ORACLE等只有大企业用，那是因为这些软件系统本身极高的价格门槛，以及软件功能的复杂度所导致。而OPENAI根本不存在这样的门槛，它的API调用都是按次计费的，为何小微企业就不能使用呢？在一个正常的使用频度下，这部分API调用成本应该根本不成其为任何企业的问题。

恰恰相反，我看到的是大企业对于CHATGPT大多是“一禁了之”的态度，而小企业多数并没有采用这样的举措。所以我的这两个产品的初衷正是针对小微企业啊，或者最多是一两百人的中型企业。大企业市场，我感觉确实也不是初创公司现阶段应考虑的事情。

yzh1999

jungle 发表于 2023-11-20 19:31
第一个，确实，现在OPEN AI 的 GPTs和Assistant API出来就是要替代掉这些以前训练的个性化模型的。但是我 ...

如果是这样，那
第一个，你的敌人是Microsoft Teams和Sharepoint。他们出一个类似功能集成在teams或者copilot里的，只是时间问题。而且这种模式，如楼上所说，你的要素是怎么变现，per token, per conversation，还是subscription。后两种有被玩残的可能

第二个，我不知道你调优gpt是怎么做的，sql dataset finetuning还是rag。RAG的类似架构我已经玩了三个月了，text2sql非常差。你要知道，用户对text2data的准确率要求是非常高的，你哪怕10次错1次，用户就闪人自己去拉报表了。而90%对text2sql来说是天文数字，尤其是有子查询的情况。这种事最好的就是你做个poc扔给用户去用，如果没被玩残，就可以考虑。但是像你截图里的那种例子，很明显是需要sql背景才能写出来的question。
如果你是gpt-35 finetuning，倒是愿意听听你的使用感受

mzbac

如果只调api创业还是算了...连起码的chatgpt的rate limit够不够你跑个项目你可能都没弄清楚...个人玩票的话随意

teddymu

Sam, Greg and the team are joining MSFT.

https://www.linkedin.com/posts/satyanadella_we-remain-committed-to-our-partnership-with-activity-7132274707701059585-cKA3?utm_source=share&utm_medium=member_android

yzh1999

mzbac 发表于 2023-11-20 19:56
如果只调api创业还是算了...连起码的chatgpt的rate limit够不够你跑个项目你可能都没弄清楚...个人玩票的话 ...

那倒是可以upgrade的

bracez

teddymu 发表于 2023-11-20 19:04
Sam, Greg and the team are joining MSFT.

https://www.linkedin.com/posts/satyanadella_we-remain-comm ...

微软的运气真好。。现在我都有点怀疑是微软背后策划的这场闹剧。

teddymu

bracez 发表于 2023-11-20 20:18
微软的运气真好。。现在我都有点怀疑是微软背后策划的这场闹剧。

this will be the quickest way for Sam and Greg and whoever following them to continue as MSFT licensed and have access to all current open AI IP so they don't need to restart. I bet a company was setup under MSFT with the same equity structure as for-profit open AI entity where they will match 1:1 to existing open Ai employees

teddymu

it is elegant chess move by Satya. it is like they spent 0 dollar to swallow a 80B start-up.

kitcat

jungle 发表于 2023-11-20 19:51
感谢解释。我对于LLM的内部技术实现了解不多，基本上仅限于到VECTOR DB而已，更多还是从用的层面去了解。 ...

我觉得小微企业最大的问题在于需求量是否能上去。曾经给一个小公司搞了一套猜你喜欢的model用来推荐用户买不了的商品的替代品，其实架构什么的做的都不错，模型预测的也准，但后来预算被砍了，原因很简单，当时同质产品数量其实有限，用查询表连数据库就能实现的功能，机器学习属于用大炮打蚊子。外加后续procurement啥的都没跟上这个需求就更站不住了，就不了了之了。