admin 管理员组

文章数量: 887019

目录

写在前面

一、关于ChatGPT

二、应用实例

1.写文章

2.入门新的知识

3.解决疑难问题

4.生成预演问题

5.文本改写

6.语言翻译

7.思维导图

8.PDF阅读理解

9.操作格式化的数据

10.模拟场景

11.写代码

三、现存局限


写在前面

        本文会简单介绍ChatGPT的特点、局限以及存在的问题,相信随着科技的发展,ChatGPT功能会越来越强大,也会有更多类似ChatGPT的大模型出现服务用户。以下所有介绍及其演示均基于2023年3月的ChatGPT进行。

一、关于ChatGPT

1.ChatGPT是一个语言模型,它没有意识、没有情绪、没有欲望,甚至不知道自己说了什么。不要试图有感情层面的交流,它只是一个工具。偶尔的语出惊人不要惊讶,不是AI觉醒了!

2.ChatGPT生成的结果都是个训练数据强相关的,目前训练数据截止2021年9月,这个时间点以后的事他都不知道。

3.训练ChatGPT用了全球40家外包公司进行数据标注,标注数据包括两部分:自监督学习用的优质标注数据;强化学习中RM(Reword Model)用的打分数据。为什么ChatGPT可以“说人话”,有时正经有事不正经?跟标注人员的喜恶有很大关系!

4.ChatGPT现在基于GPT-4(曾经是GPT-3,然后是GPT-3.5),GPT(Generative Pre-trained Transformer)

5.ChatGPT是生成模型,结果都是生成的,不是网络搜出来的。对于中文,使用单字分词,一个字一个token,也就是说结果一个字一个的生成出来,每迭代一次生成一个字,甚至计算数学题,也是这样!

6.Transformer模型是有固定长度的输入的,ChatGPT的多轮对话是将本轮问题放在上文(包括它自己回答)之后,截取固定长度当做输入,所以ChatGPT是会发生“遗忘”的现象,因为超出输入长度的内容被舍弃了。GPT-3.5的输入长度2048,GPT-4的输入长度是25000。

7.生成的每一个字都是根据概率,不是直接取概率最大的token,比如下面两个同样的问题,我都是新开session提问,结果不一样。这么做好处是缓解长尾效应,增加答案的多样性与丰富性!

8.Session隔离:ChatGPT使用了Prompt Learning,提问的同时也是“模型学习”的过程,所以高质量的问题,才能得到高质量的回答。

9.中国有一些不需要梯子的ChatGPT接口,大多基于GPT-3。

10.GPT-4是支持多模态的,现在只放出了演示视频,没有对外公开功能。

11.ChatGPT的输出结果也是有长度限制的,一次没输出完,让它“继续”就可以了。

12.中文的回答不好时,翻译成英文试试,因为训练集中文占比不到1%

13.一条消息只包含一个问题,且尽可能多地提供有用信息。因为Transformer的核心是Attention机制,一条消息包含多个问题有可能分散模型的注意力,影响回答的质量。且尽可能多地提供有用信息可以有效减少提问次数,避免“遗忘”的发生。下面第一个例子要求非常宽泛,生成的内容也很范范,如果我们尽量把提示写全,生成的内容将详实得多。当然下面第二张图出现了很多常识性错误。

二、应用实例

1.写文章

        比如作文、公文、软文,写方案,xx申请、xx汇报,只要是写文章都可以让他试试,注意把要求尽量全的写出来。

2.入门新的知识

        不但可以让ChatGPT介绍新的知识,还可以让它给出实例,然后哪里不懂问哪里,这里用的GPT-4模型,GPT-3.5模型注意“遗忘”问题。

        同时多用反问的方式和 chatGPT 交流。这样是一个思考的过程,ChatGPT还会纠正你的问题。

3.解决疑难问题

4.生成预演问题

5.文本改写

        比如给出一段话,让它改简单一些,或换个风格,同时给出要的风格是什么样子的。

6.语言翻译

        我用回译的方式做测试,发现常用语种如英文问题不大,小语种不太行。

7.思维导图

        让ChatGPT生成markdown,markdown转换思维导图的网站 Try markmap

 

8.PDF阅读理解

网址  Discover, Create, and Publish your research paper | SciSpace by Typeset

9.操作格式化的数据

        例如编辑json、xml、md、yaml、ini文件等

10.模拟场景

        可以模拟控制台、面试场景、答辩场景,增加学习或者工作中的氛围感。

         下面是面试场景举例:

        在上面的面试场景中,CharGPT作为面试官基本合格,但是存在如下两个问题:
        a.它问的问题都比较宽泛,如果在最开始我们描述的跟清楚,比如“作为面试官,你对目标检测的SPP结构比较感兴趣”,面试过程中CharGPT就会更多的聚焦更加具体的问题。
        b.上面提到的“遗忘”问题,当对话的内容长度增加,超出了模型的最大输入长度,就会发生“遗忘”,在这里CharGPT忘记了自己是面试官,所以作为用户,要时常“提醒”它注意一下自己的身份。

11.写代码

       推荐一个自动写代码的工具,不用梯子,不用注册:用GPT-4写代码不用翻墙了?Cursor告诉你:可以~~

12.制作表格

三、现存局限

1.常识错误,如上面清代瓷器的例子,督陶官的生卒年都是错的,生平也有一些错误。

2.一本正经的胡说八道,GPT-4官方称之为“幻觉”,当遇到比较新的名词或事物ChatGPT会瞎编。时效性不高,是当下ChatGPT难以克服的问题。

3.回答通常过于冗长,并过度使用某些短语,原因是数据倾斜,标注人员更倾向于给长的句子打高分。所以如果是写报告或者项目介绍文档,可能需要人工修改某些冗余语句。

4.ChatGPT对输入措辞的调整或多次尝试相同的提示很敏感。

四、使用技巧

        最后重复一下使用技巧:

        1.问题的目标要明确,条件尽量写全。
        2.对结果不满意,经过多次提示也不起作用,新建Session重来,还不行用英文。
        3.对话内容过长,容易发生“遗忘”,对本次对话重要的条件一定要写出来。
        4.同样问题的结果可能不同,遇到喜欢的回答,一定复制下来。

本文标签: 场景 工具 ChatGpt