V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
cookgo
V2EX  ›  程序员

大语言模型训练请教

  •  
  •   cookgo · 307 天前 · 1626 次点击
    这是一个创建于 307 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • 各位佬,小弟我想训练一个对话机器人,其功能为:
      • 根据用户遇到的场景提供法律咨询。
    • 比如能达到这样的效果:
      • 自己买的商品楼烂尾了,把内容丢给机器人,机器人能提供为消费者进行维权的相关法律条款的介绍。
    • 请问这个要如何入手?提前谢谢各位佬。
    8 条回复    2024-02-28 09:38:45 +08:00
    makejohn2015
        1
    makejohn2015  
       307 天前   ❤️ 1
    不用从零开始找数据训练,可以找网上现有的法律对话、问答的东西,写个脚本疯狂问,用来训练你的“机器人”,知识蒸馏。
    sentinelK
        2
    sentinelK  
       307 天前   ❤️ 2
    有几个问题需要先明确。

    1 、是从 0 开始模型训练?还是模型微调?还是只是注入上下文信息?
    2 、对信息的准确度要求如何?
    3 、你想付出多少成本?
    imes
        3
    imes  
       307 天前 via Android   ❤️ 1
    1. 不管什么方法,弄到至少 100G 的法律资料。
    2. 找 3-5 个 5 年以上经验,不同方向的律师,让他们把上述内容分类整理。
    3. 买至少 4 张 H100 以上的卡,初期可以在 llama2 的基础上,使用 LoRA 进行微调。后期至少需要 3 台英伟达 DGX 服务器。
    4. 找至少 20 位律师(不要求经验),对输出进行 ground truth 核对。
    vivisidea
        4
    vivisidea  
       307 天前   ❤️ 1
    你是否在找 https://github.com/PKU-YuanGroup/ChatLaw?tab=readme-ov-file

    自己搞投入有点大的,我是建议用业界最强 gpt4 试试
    fulajickhz
        5
    fulajickhz  
       307 天前   ❤️ 1
    现在的 AI ,无论中外,只要能搜互联网的,都可以满足你的要求

    你自己试试就知道了

    官方的,税务总局的机器人客服有类似的功能,通过关键词会触发对应的条例和具体条款

    其他部门的没碰到过
    Alias4ck
        6
    Alias4ck  
       307 天前   ❤️ 2
    阿里有一个法律的 通义法睿 https://tongyi.aliyun.com/farui/chat
    cookgo
        7
    cookgo  
    OP
       302 天前
    @makejohn2015 这种方式是指的《模型微调》吗?
    cookgo
        8
    cookgo  
    OP
       302 天前
    @sentinelK 对信息的准确要尽可能的高,因此应该是要从 0 开始训练模型了吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1025 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 21:30 · PVG 05:30 · LAX 13:30 · JFK 16:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.