admin 管理员组文章数量: 887021
openai/chatgpt微调/fine-tuning/测试用/投喂资源
微调涉及以下步骤：
准备训练数据： 链接: https://download.csdn/download/gujunsheng837735/87537800
直接下载可用
整理了chatgpt微调所需要的测试资源数据，按照fine-tuning的格式生成的数据集。可以直接 fine_tunes.create -t 使用。微调完毕后可以 -p 回答结果。其中包含三四百条数据。适合测试openai自定义模型的人群使用。
chatgpt微调适用于以下模型：davinci curie babbage ada。
第一步：安装 OpenAI 命令行界面 (CLI)
pip3 install --upgrade openai
第二步：
设置环境变量：OPENAI_API_KEY
export OPENAI_API_KEY=“sk-************************************************”
export OPENAI_API_KEY="sk-************************************************"
下载上面的准备训练数据
格式为：
{“prompt”: “”, “completion”: “”}
{“prompt”: “”, “completion”: “”}
{“prompt”: “”, “completion”: “”}
…
第三步（用上面的数据可跳过）：
openai tools fine_tunes.prepare_data -f /文件存放位置/json_prepared.jsonl
它的作用是引导你完成建议的更改后，将输出保存到 JSONL 文件中。
第四步：
创建微调模型
使用 OpenAI CLI 启动微调：
openai api fine_tunes.create -t "/文件存放位置/json_prepared.jsonl" -m davinci --suffix "davinci model test01"
-m:chatgpt微调适用于以下模型：davinci curie babbage ada。(不加m参数 默认是curie)
–suffix:自定义模型名称
刚刚的命令会执行这几项操作：
- 第一次使用json_prepared.jsonl的时候会上传文件，如果下次依旧用这个文件训练其他模型的话，就不会重复上次了。
- 创建微调任务
- 传输过程直到完成(一般情况挺快的，但如果前面很多排队的，你就得慢慢等，自己训练数据量的大小也会影响速度)
- 如果事件中断了，可以通过以下命令来恢复：
openai api fine_tunes.follow -i ft-************************
你的微调工作id：ft-************************
微调完成以后可以在命令行测试：
openai api completions.create -m davinci:ft-********:davinci-model-test01-2023-03-02-09-13-35 -p "小明的妈妈有三个儿子，大儿子叫大明，二儿子叫二明，三儿子叫什么。"
-m： 刚刚创建成功的微调模型名称
-p： 你要提问的问题
版权声明：本文标题：chatgpt微调fine-tuning 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1724642976h783547.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论