chatgpt 出来这么久了，看到的都是卖号，或者直接用 api 开发个啥，就没人想微调，针对垂直行业做定制化的 chatgpt?
diehe · 2023-04-03 22:34:57 +08:00 · 15499 次点击这是一个创建于 633 天前的主题，其中的信息可能已经有所发展或是发生改变。
据我对各行各业的观察，这个需求其实很大的。
最好是，把整个微调过程，做成无需写代码的方式。 让他们只要简单上传，自己行业的专业数据资料，就能得到一个全能的二十四小时在线的行业专家。
并且这个本行业的 chatgpt 还可以做成 api 形式，对外收费。岂不美哉？ 当然这是后话！
有懂这方面技术的大佬，愿意一起来弄这个事么？
 |
1
bt7vip 2023-04-03 22:38:30 +08:00 via Android
和电脑出现早期需要打字员一样的状况，不是不想做，是除了少部分人，其他人没有调整模型的能力或者技术，有是一回事，会用又是一回事，况且算力也是一个限制。
|
 |
2
siriulx 2023-04-03 22:41:09 +08:00  2
你是说这个么 https://beta.character.ai/
这个之前拿了 150M 的投资 |
 |
3
Procumbens 2023-04-03 22:42:08 +08:00
|
 |
6
zapper 2023-04-03 22:47:05 +08:00
现在还没有这个 API 。所以没有，而且哪个掌握核心的公司会随便上传自己的专业数据资料？给人类做慈善吗
说白了未来就是数字分身的天下，创一个自己的分身跟吃饭一样简单。 到时老板们有无数个数字分身替他解决各种奇葩问题。普通打工人会只能做强线下的工作，而普通人的数字分身只能去帮普通人上网对线、买东西吧 最后，你指的应该是泛 AIGC 这个行业，而不是什么 chatgpt 吧 |
 |
7
diehe OP @zapper 这个基于 chatgpt 开源的程序，搭建自己垂直行业的 chatgpt ，然后基于这个去微调，这个数据不至于上传给 chatgpt 吧？
|
 |
8
a302800411 2023-04-03 22:57:20 +08:00 via iPhone
你说的是 gpt 插件，官方就快上线了。
3.5 的模型压还根不支持微调。 |
 |
9
JensenQian 2023-04-03 23:00:13 +08:00
|
 |
10
DingDingDang123 2023-04-03 23:08:31 +08:00
哈哈，这不是说我吗？
我自己开通了 plus 后，发现这东西真麻烦，后来在 v2 上发贴。 很多 v2 的朋友找我帮忙帮开，其实还是挺有意义。 总要先用起来吧。你说是吧。 我帮忙代开 chat plus, vx 见我之前的贴子。 |
 |
11
kwh 2023-04-03 23:16:30 +08:00
@zapper 有道理，毕竟 AI 的智慧基于计算机资源。那么一个国家的 AI 那该多么强大？？？
而且 AI 最不怕的就是数据多，可以想象，如果我国有了 AI ，把所有的个人数据输入，分分钟给每个人进行定性，打标签。 而且 AI 多半能取代人工编程，大不了多试几次，而且还可以把问题抛出来，让人工解决 AI 不会的问题，然后 AI 就噌噌噌的把剩余的代码写完。感觉以后在某些编程领域，真人只会成为 AI 编程的附庸。 |
|
12
zapper 2023-04-03 23:22:41 +08:00
|
 |
13
nightwitch 2023-04-03 23:26:57 +08:00 via Android
gpt3.5 以后的模型没开源啊。基础模型没开源的情况下，没法做定制，无非就是提示词不一样，这种有什么好定制的
|
 |
14
yunyuyuan 2023-04-03 23:30:43 +08:00
@nightwitch OP 可能说的是傻瓜版定制，使用者不需要懂任何计算机技术，翻墙都不会的那种。但是要搞这种服务，首先要目标行业相关的人脉吧，普通程序员的人脉应该不怎么广
|
 |
15
Lanceliel 2023-04-03 23:33:46 +08:00 via Android 3
楼主以为难点在于微调模型？
整理“行业的专业数据资料”才是最困难&成本最高的部分。 有能力搞定这部分的话，也未必非得基于 ChatGPT 了： https://doi.org/10.48550/arXiv.2303.17564 |
 |
16
thinszx 2023-04-03 23:45:54 +08:00
1. 没那么多相关数据
2. 没那么多计算资源 按照之前 gpt3 一类的模型成本来看，单单训练一次就要烧掉几百万美元，而且这个参数量，想要达到让模型有很好的泛化性，训练数据相比普通的模型要多出来几百倍估计都不止，如果只是想要在原始的模型上微调是可能的，但是原始模型没开源，大概率以后也不可能开源了，所以不太可能做到 |
 |
17
Senorsen 2023-04-03 23:51:00 +08:00
想了想，好像是 Azure
|
 |
18
shaohan0228 2023-04-03 23:59:44 +08:00
autodesk 要测试的 maya assist 就是用的 Azure 的 openai 服务，算是垂直领域吧
|
 |
19
realpg 2023-04-04 00:23:59 +08:00 1
某个无主之地出现了新的金矿，挣钱的要么是巨头，要么是卖铲子的
|
 |
20
SGL 2023-04-04 00:44:31 +08:00
问得好，但是 GPT3.5 好像没有开源
|
 |
21
ETiV 2023-04-04 01:07:44 +08:00 3
OpenAI 提供 fine-tune 接口，也正如 LZ 所想，只需要提供一问一答样式的 JSONL 文件即可。
但 base model 只有 A 、B 、C 、D 四款，调 fine-tune 接口不贵，但是使用价格非常贵 —— Davinci 的使用价格跟 GPT-4 32K 上下文 tokens 的价格一样。 而且可供 fine-tune 的模型不包括 gpt-3.5-turbo 或者 gpt-4 ，也就是说生成质量未必像 ChatGPT 那样好… 然后就是你提到的专业数据资料，有多少是 GPT-4 不知道的呢？ |
 |
22
documentzhangx66 2023-04-04 01:20:09 +08:00
|
 |
23
levelworm 2023-04-04 01:36:59 +08:00 via Android
得等 openai 训练好之后，再去私有环境中对私有数据训练。但是的确不好搞，除非是自己做过这个的。
|
|
24
levelworm 2023-04-04 01:37:52 +08:00 via Android
比如说 A-100 对国内禁用，可能得等阉割版出来了。
|
 |
25
Kumo31 2023-04-04 01:57:22 +08:00
有的，例如多邻国： https://openai.com/customer-stories/duolingo ，不过感觉定制化程度还是有限
|
 |
26
dangyuluo 2023-04-04 02:03:07 +08:00
垂直行业定制。。互联网味真浓
|
 |
27
henryhu 2023-04-04 02:06:03 +08:00 1
正在做一个 3d 建模的 gpt 应用，让普通设计师（非程序员）也能编程。其实特定领域的 chatgpt 应用有不少尝试，大家都是才刚刚起步
|
 |
28
westoy 2023-04-04 02:06:46 +08:00
目前感觉还只能作为辅助者， 比如 office 助手、代码生成这些， 需要有一个能把关的
并不能直接对接客户， 比如你要拿来作为一个客服， 可能因为一次无中生有， 你就永远失去这个客户了， 而且成本比起用一个执行复读机操作的人也没优势。 |
 |
29
AeroXi 2023-04-04 02:39:05 +08:00
你说的微调 finetune 从 chatgpt 开始不提供了，openai 认为没有必要，现在模型的能力只需要提供上下文就有很好的效果
方法就是用 embedding 向量索引，查找相似内容插入 prompt 国外已经非常多这类产品，比如 kapa.ai mendable 都可以接入开发文档生成回答问题的 chatbot |
 |
30
baobao1270 2023-04-04 02:53:25 +08:00
模型都没给你，你怎么 fine tuning
|
 |
31
houshuu 2023-04-04 04:26:58 +08:00
OpenAI API 其实有 Fine-tuning 服务, 只是目前不对 GPT 模型开放罢了.
本来想过针对 Token 试试, 但感觉新的几个 GPT 模型和他提供的 API 也不是一致的, 官网提供的 Token 工具貌似是基于 GPT2 做的. 所以个人感觉 OpenAI 不公布模型原参数的情况下, few-shot 目前阶段是完全做不了的, 要么自研要么等. 提示词的影响终究只有那几千个 Token, GPT4 还没用过, 好像可以多点. 其实也有一年没怎么碰机器学习了, 最近又开始看相关论文学习学习. 数据收集和数据质量是一方面, 目前 OpenAI 和大部队拉开差距的主要是他们能够用很小规模的模型去预测大规模模型训练收敛的情况, 大部分 AI 民工就算能找到数据, 能写出模型, 拉得到算力投资, 可 Loss 估计一训练就飞出太阳系了. 稳定训练是个技术活, 之前不是搞大模型方向的估计够呛. |
 |
32
outman87 2023-04-04 08:43:35 +08:00
怎么定制呢？你无法调教它啊。换言之，没法给它投喂大量的行业数据，训练它逐步摸清该行业的模式和运作规则啊
|
 |
33
kkkbbb 2023-04-04 08:50:21 +08:00 via Android
感觉现在遍地都是靠他割韭菜的
|
 |
34
haaro 2023-04-04 09:00:01 +08:00 1
GPT 的 Fine-tuning 在微软的 Auzre 上已经有了
https://learn.microsoft.com/en-us/azure/cognitive-services/openai/how-to/fine-tuning |
 |
35
Biluesgakki 2023-04-04 09:11:23 +08:00
这个后续 openai 肯定会开放的，就是时间问题，看了上面的链接，gpt 模型都没开放，只能等开放
|
 |
36
vsitebon 2023-04-04 09:12:56 +08:00
@haaro #32 冷知识，其实 OpenAI 也有接口；但是现在是 ChatGPT 也就是 GPT 3.5 没有 Fine Tuning 接口
|
 |
37
xdzhang 2023-04-04 09:20:10 +08:00
阿里云之前打过电话，推销相关的比如 ai 的客服啥的。
|
 |
38
sujin190 2023-04-04 09:49:02 +08:00 via Android
@diehe 这个还真是问题，类似的模型想再训练微调可不是随便搞两块显卡就能搞得定的，用云服务价格也是不一般的死贵死贵
|
 |
39
fg990 2023-04-04 10:03:41 +08:00
@diehe 我不是程序员。楼主的想法我很支持。“最好是，把整个微调过程，做成无需写代码的方式。 让他们只要简单上传，自己行业的专业数据资料，就能得到一个全能的二十四小时在线的行业专家。”就要这个，不用专家级别，做到自然流畅的专业客服就可以。
|
|
40
fg990 2023-04-04 10:05:23 +08:00
补充一下，我在一个家电企业从事人力资源工作，同时分管顾客服务工作。
|
 |
41
randyo 2023-04-04 10:05:39 +08:00
不怕数据泄露可以上传
|
|
42
diehe OP 大佬，虽然技术方面我可能不如你，但是显卡，我还是懂滴，你去闲鱼搜下：叠鹤倒显卡 看看！
a100 说是禁运，其实随便买。我搞显卡的，经常在国外竞拍显卡，大量 a100 ，可以随便拍，只是目前国内，没这么多能消化。或者说，中间的倒爷赚太多了，导致也没什么人想去搞专业卡。比如最近一批 a100 ，80G 的，全新的，国内做专业卡的给我报价七万五一张，而人家竞拍就是九万起，怎么玩？ |
|
44
diehe OP |
 |
47
Jungeer 2023-04-04 10:39:41 +08:00
怎样微调 带带弟弟
|
 |
48
karatsuba 2023-04-04 10:43:10 +08:00
你指的是 embedding ？ 早就有人做了，而且为了数据安全不可能用你的东西的
|
 |
49
tomari 2023-04-04 10:44:37 +08:00
有的，微软自己就做了很多啊，针对 bing 的 chatgpt （ new bing ），针对 office 的 chatgpt ，针对 teams 的 chatgpt ，等等。
|
 |
50
ggcver 2023-04-04 10:53:59 +08:00
怎么会没有...
sft,rlhf,rm ，都一直在复现和做垂类。我有朋友都做出场景下微调后的效果了，我也在做 你有显卡？可以互补一下资源？ |
 |
52
byron 2023-04-04 10:56:16 +08:00 1
|
 |
53
perfectar 2023-04-04 11:03:01 +08:00
这块未来肯定需求很多，但是现在 OpenAI 成 closeAI 了，所以国内的一帮 ToB 的都是在摸着石头过河，我们自己也在做垂直领域的迁移适配，难度挺大的。
|
 |
54
pkoukk 2023-04-04 11:12:17 +08:00
gpt 已经是面向个人消费者的终端产品了，就像手机一样，你说手机没用么？非常有用
但是哪个工厂舍得拿手机当生成工具呢？他们的大部分场景就需要一个可触摸平板点点极其有限的内容即可 手机的通用处理能力他们完全用不上，他们也不愿意为这些用不上的功能付费 另外，垂直领域的“AI”其实不成立，就像 SASS 喊了那么多年也做不成，因为即使是同行业每家的玩法也不同，还是得定制开发。那垂直领域的“AI”怎么训练呢？不同的公司对同一规则的处理流程可能是完全相反的，适配到了最后还是硬编码... |
 |
55
6i3BMhWCpKaXhqQi 2023-04-04 11:14:34 +08:00
@diehe 有钱有显卡太可以了，绝对的大佬。
能好奇的问一下吗？有多少？ |
|
56
diehe OP @pkoukk 你这么一说，好像有道理。但是现在企业的数据很多都是机密，不可能直接喂给 chatgpt 。
你说，有没有可能，用他开源的前几个版本，搭建一个私有的，然后投喂自己的数据。这样避免数据泄露，同时能满足自己的需求。 把这整个过程，做成一个软件，在客户本地安装，数据什么的也都在本地。 然后跟 erp 软件一样，按年收费。 |
 |
57
milukun 2023-04-04 11:30:17 +08:00
微调会有，但是是 openai 选择与你合作，而不是你选择和 openai 合作
这种企业级的合作，比如和老东家微软的 bing 合作 其他的目前还没有看到，但肯定不是申请个 api 或者网上填个表格就开始的这么简单的事情哦 |
 |
58
dudubaba 2023-04-04 11:42:26 +08:00
有人用代理二次封装，然后充值供国内用户调用，赚麻了好吗，日进万金都是小 case
|
 |
59
garlics 2023-04-04 11:45:06 +08:00
有比较浅显的应用：
周报生成器 打拳小作文生成器等 |
|
60
pkoukk 2023-04-04 11:58:56 +08:00
@diehe 不能的，从目前的成果来看，AI 的智能程度和训练数据集的大小存在极大的关联。
你可以假想他就是个人，一个人起码要经历九年义务教育，才能做一个符合社会要求的工人。 你只给 AI 喂垂直数据，而且是离散度不高的，重复性很强的数据，它会表现的非常智障，它很难理解你说的话的含义。 我曾经做过一些 AI 和模型的工作，范围小，规则强的东西还是写代码最高效、而且更可控。 |
 |
65
andyskaura 2023-04-04 14:34:17 +08:00
@DingDingDang123 #10 能代充值吗
|
 |
66
sunyang 2023-04-04 15:18:32 +08:00
定制啥？ 电信诈骗功能吗？
|
 |
67
jhdxr 2023-04-04 15:28:51 +08:00 1
0. 大的企业不会考虑将数据这么共享给一个不会签 NDA 的第三方（就算你想签企业也未必愿意 /相信，更何况 openai 是不可能签的）
1. 基于大模型做 finetuning （也就是你所想象的给模型喂 domain 数据），和调整 prompt 是两个不同的优化思路。以 GPT3.5/4 的量级，走的是后者的路线。 2. 现在其他已经开源的 LLM ，包括但不限于之前的 GPT3 （或更早的版本）以及最近各个大学企业发布的，效果离 ChatGPT 差距巨大 3. 对 AI 有兴趣的企业，不少（从好多年前起）就有自己的 AI team 。（以我浅薄的认知和见识）做 NLP 的组很大一部分工作就是把别人现成的模型搬过来套在自己数据上试一试，然后选一些还不错的做 finetuning 。效果见仁见智。 把硬件需求的问题放一边，LZ 是哪来的信心，认为自己一个缺乏深度理解 /定制的，可以打败第三点里提到的企业自有 AI team ？ |
 |
68
zzzzzzZ 2023-04-04 15:31:23 +08:00
|
 |
69
1279990918 2023-04-04 15:41:34 +08:00 via Android
携程国际版已经在做了噢，ota 行业版的 gtp ，不过是和 openai 合作的
|
|
70
jhdxr 2023-04-04 15:49:49 +08:00
|
 |
71
anubu 2023-04-04 15:55:19 +08:00
fine tuning 和 text embedding 会有很大的却别吗？似乎大部分的文档助手、客服助手类 chatbot ，有 text embedding 就可以做到相对专业的协助了。
|
 |
72
pipaseqin 2023-04-04 16:30:08 +08:00
数据集和标注这层可能才是真正的壁垒。
这个是医疗领域的 AI https://glass.health/ai |
 |
73
cc666 2023-04-04 17:19:43 +08:00
没有原始模型
没有原始模型权重数据 没有训练数据 没有训练设备 锅和米和柴火都没有，做个 DER 的饭 |
 |
74
ljpCN 2023-04-04 17:44:08 +08:00
应该还是有的。
 |
 |
79
c3de3f21 2023-04-04 17:55:24 +08:00
google ，bing 甚至 baidu ，他们都有数据集
|
|
83
diehe OP @milukun 其实国内已经有一家小公司在搞这个了，还拿到高瓴投资了。产品也出来了，我也试用了，还不错。不简单，但是也没你想的难！
|
 |
84
wellqq 2023-04-04 18:22:22 +08:00 via Android
比如把所有法律條例喂给他，然后以后你有法律上的事不用咨询律师，直接问他
|
|
86
DingDingDang123 2023-04-04 19:24:26 +08:00 via iPhone
@andyskaura 代充值可以接的，wx 看我之前的帖子
|
 |
87
Daybyedream 2023-04-04 20:00:17 +08:00
多了去了。。但是最低级的最方便的就是卖号代充呀 你当然见到的最多
|
 |
88
sangleft 2023-04-04 21:53:42 +08:00
微调方法还是有的。但是 openai 的模型并没有开放啊，ChatGLM 模型参数也是非商业开放。
|
 |
89
sudoy 2023-04-04 22:48:27 +08:00
我前不久就想做，但是一直没时间
|
 |
90
rpman 2023-04-04 22:53:12 +08:00
我们在做。
|
 |
91
Macadamia 2023-04-04 23:07:15 +08:00
|
 |
92
findex 2023-04-05 02:24:20 +08:00
你看抖音+wx+快手直播上，多少人在售卖账号教程收割，把观众当傻子看。这个 wall 收割的是不仅仅是文化差异，而且是认知差异。
|
 |
93
yankebupt 2023-04-05 07:18:43 +08:00
fact opinion truth lie uncategorized
有懂这方面技术的大佬，愿意一起来弄这个事么？ https://imgur.com/a/TLA8lWN 其实之前就有 AI 实现这个功能了，不过被用来做审核这种不太道德的事情上了…… |
|
94
yankebupt 2023-04-05 07:19:28 +08:00
 图没出来，补图 |
|
96
diehe OP 1
@yankebupt 这个没办法，国情如此。前几天参加了一个大学的网络讲座，主题就是关于 chatgpt 的，我发现国内在追踪研究新事物这块，其实速度是很快的，但有个不好的倾向就是，一个新鲜事物出来，很多教授喜欢研究如何管理，如何合规，这就很中国了！
|
 |
97
permaylau 2023-04-05 08:31:43 +08:00
别难为 V 站的程序员了，首先是专业的大量数据，其次是没有钱买英伟达 A100 专业显卡，再次是没有“微调”的技术。V 站只是程序员闲聊喷水的地方。
|
 |
98
Chewbacca 2023-04-05 08:45:52 +08:00
我发现了个非常好用的基于 ChatGPT 的应用，可以说是颠覆性的： http://chat-web.infinities.club/
（狗头保命） |
 |
99
aliezleft 2023-04-05 10:46:04 +08:00
有啊,已经有人开课了 https://www.jtthink.com/course?c=25
|
 |
100
hitsmaxft 2023-04-05 14:45:21 +08:00
微调需要他提供 1. 数据导入和计算资源， 换句话说得是模型的 saas 或者 paas 。目前 openai 并没有提供这样的服务. 或者只提供给了微软或者 github 。
|
Select Language