​​生成AI,特别是ChatGPT,一直吸引着技术媒体、主流媒体以及各行各业的专业人士的关注。它将如何颠覆你的工作?!AI会取代你吗?好莱坞编剧、房地产经纪人、遛狗者和麻醉师还有用武之地吗?

与Datos（一家隐私数据集的全球点击流数据提供商）公司的出色伙伴们携手,他们拥有2000万台设备(台式机和移动设备,覆盖200多个国家)的访问记录,可以很好地洞察真正的人们在网上做什么,我们承担了一个揭开ChatGPT奥秘的挑战性项目。

调查#1:ChatGPT的使用量在增加吗? 

如果你一直在阅读像ChatGPT使用预测会增长900%或ChatGPT在六个月内实现了Facebook十年才能达到的成就这样的文章,你会误以为这个文本生成系统拥有所有的风险投资人都渴望的J形增长曲线。但是,更有洞察力的观察者可能已经注意到Honest Broker最近的文章:ChatGPT的丑陋数字揭示AI需求已经在收缩,或者华尔街日报和华盛顿邮报的类似报道。

首先,我们来看看OpenAI.com网站流量的概览:

自5月以来,OpenAI流量下降了29.15%。有各种假设可以在不意味着对生成AI的兴趣或使用量实际在下降的情况下解释这一点:

• 假设A)专业/常规用户的使用量仍处于历史新高或者正在增长;只有新用户或那些没有具体任务而仅仅去试用它的用户在流失 
• 假设B)大量使用与学业相关,美国、加拿大和其他暑假制国家的教育用户造成了流量下降的假象

Datos的点击流面板收集了数百万选择加入面板的设备访问的每个URL,通过这些,我们不仅可以看到OpenAI的月度流量,还可以看到这些设备的访问次数。这应该有助于我们验证或否定假设A。

我要求Datos提供自去年9月以来面板对OpenAI的全部流量按月访问次数进行划分的细目。该分布如下所示:

在这里我们可以看到,每月访问1-2次的用户数量确实自5月以来有所下降。在12月的时候(ChatGPT 3能力的突破性新闻激发了首次使用量的疯狂增长),该群体也遭遇了大幅下滑。但是假设A的主要论点在分析每月访问3-10次的用户或每月访问11+次的用户时并不成立。两者自5月以来均显示出明显的下降趋势。事实上,每月访问11+次的用户的下降趋势自4月以来就已经出现!

这让我们进入了第二个假设:教育用户应对流量下降负责。考虑到4月以来的数据下滑,这已经是一个难以置信的说法,但由于发现答案的过程揭示了如此多关于ChatGPT使用的信息,让我们继续深入调查。

调查#2:人们要求ChatGPT解决什么任务? 

教育用例是否正在推动ChatGPT的采用?我们是否正在培养一代依靠AI完成大多数办公工作的学生?或者相反,ChatGPT是否正在取代谷歌搜索,消除对软件程序员的需求,或者可能取代角色扮演游戏桌上过于繁忙的讲故事者?

为了回答这些问题,Datos向我们提供了超过7000个真实用户的ChatGPT使用案例,我们过滤出最相关的4098个(移除只有几个字或无意义的胡言乱语、表情符号、纯粗话等)。结果非常有趣。

首先,我根据每个会话中的prompt数量进行了划分:

我们可以看到,ChatGPT的用户大致均分为三种类型(各占1/3):单prompt、2-4个prompt和5+个prompt的会话。但是,这种分析并没有告诉我们人们的真正用途,而由于Datos能够提供ChatGPT页面的全部文本,我们对其进行了分析(使用最好的主题分类系统之一:ChatGPT本身)。

我首先要求ChatGPT进行精细分类,然后从最常见的分类中取出约20个(这20个占所有4098个独特会话的95%以上),并手动将它们分配到顶级类别,您可以在上图中看到。编程是最大的用例,所有会话的29.14%属于此类别。它也是最清晰、模糊性最小的类别。我手动检查了每个会话组的100多个案例(这是一项艰巨但迷人的任务)以确认分类器的准确性,ChatGPT标记为编程的所有案例在提供编写特定代码段、格式化代码、捕捉代码错误等方面的帮助时都是准确的。

正如许多人经常指出的,该工具在编程相关任务中表现卓越。这是它如此受欢迎的用例再正常不过了。

接下来是教育 - 但不仅仅是中小学教育。个人知识或兴趣追求以及工作目的的专业知识都包括在内。内容创作也是如此 - 有些明显是个人的(D&D地下城主需要为他们的游戏制作谜题或任务),而其他的是专业的(“为我写一篇500字关于底特律管道问题的博客文章” - 可能是一个厌倦自己创作内容的营销人员)。

销售和营销用例与内容创作有重叠,但我选择将它们分开,以突出那些只能归类为帮助销售和营销专业人员完成工作的会话(分析指标、选择推广产品的渠道、广告优化任务以及数据集中存在的消息/推广帮助等)。

为了更清楚地说明这个调查,我提供了近乎完整的子类别细分(省略了一些高度重叠/主观的组合):

我使用了上面饼图中的颜色编码,以便更直观地浏览,例如“写作帮助”、“个人内容创作”、“创意想法”和“专业内容创作”都用灰色编码,因为它们属于更广泛的“内容”用例。

高等教育、初中教育和家庭作业都是ChatGPT对会话进行分类中的子类别,加在一起约占所有用例的10%。这不足以解释4月/5月至7月约29%的流量下降,因此,我认为我们可以否定假设B了。

分析ChatGPT会话中一些最常用词也让我感到惊讶。对感兴趣的人来说,下面是这些词的可视化:

“Write 写”、“Create 创造”和“List 列举”这些动词作为ChatGPT prompt非常明显。但发现2.39%的所有会话中出现“SEO”很惊讶!而4.66%的会话中出现“游戏”也令我吃惊。未在此概述中出现但仍然很有趣(至少对我来说)的词有:

法官 0.61%

SaaS 0.56% 

定价 0.54% 

课程 0.46% 

就业 0.44% 

雇主 0.39% 

律师 0.37% 

推文 0.34% 

电影 0.32% 

DnD(或D&D)0.17% 

RPG 0.15%

By Rand FishkinAugust 30, 2023

​原文链接：We Analyzed Millions of ChatGPT User Sessions: Visits are Down 29% since May, Programming Assistance is 30% of Use - SparkToro​​​​