首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

研究发现:教育水平较低地区反而更快采用 AI 写作工具

自从 ChatGPT 在 2022 年底推出以来,专家们一直在讨论 AI 语言模型会在多大程度上影响世界。几年后,这幅图景逐渐清晰。根据斯坦福大学领导的一项新研究,通过对多个领域超过 3 亿个文本样本的分析发现,AI 语言模型目前在各行业的专业交流中提供了高达四分之一的写作协助。特别是在美国教育水平较低的地区,其影响更为显著。

研究人员指出:"我们的研究显示,一个新的现实正在形成,企业、消费者乃至国际组织都在很大程度上依赖生成式 AI 进行沟通。"

研究团队从 2022 年 1 月至 2024 年 9 月追踪了各行业大语言模型的使用情况,数据集包括提交给美国消费者金融保护局 (CFPB) 的 687,241 份消费者投诉、537,413 份企业新闻稿、3.043 亿份职位发布和 15,919 份联合国新闻稿。

通过使用追踪词语使用模式的统计检测系统,研究人员发现在此期间,约 18% 的金融消费者投诉 (其中阿肯色州的投诉占 30%)、24% 的企业新闻稿、高达 15% 的职位发布和 14% 的联合国新闻稿都显示出 AI 辅助的迹象。

研究还发现,虽然城市地区整体采用率更高 (城市地区为 18.2%,农村地区为 10.9%),但教育程度较低的地区使用 AI 写作工具的频率更高 (19.9%,而高等教育地区为 17.4%)。研究人员指出,这与典型的技术采用模式相矛盾,通常是教育程度更高的人群最先采用新工具。

"在消费者投诉领域,大语言模型采用的地理和人口分布模式呈现出一个有趣的变化,与历史上的技术扩散趋势不同。过去技术采用通常集中在城市地区、高收入群体和教育水平较高的人群中。"

这项研究题为《大语言模型辅助写作在社会中的广泛应用》,由斯坦福大学、华盛顿大学和埃默里大学的研究人员主导,于 2 月中旬首次发表在 arXiv 预印本服务器上。斯坦福大学的梁伟鑫和张耀辉担任主要作者,与合作者 Mihai Codreanu、王家宇、曹涵程和邹杰一起完成研究。

在总体层面检测 AI 使用情况

我们之前已经报道过,AI 写作检测服务并不可靠,这项研究并未与该发现相矛盾。就单个文档而言,AI 检测器并不可信。但在分析数百万份文档时,会出现表明 AI 语言模型对文本产生影响的明显模式。

研究人员基于之前发布的研究中的统计框架开发了一种方法,分析了 ChatGPT 发布前后词频和语言模式的变化。通过比较大量 ChatGPT 发布前后的文本,他们在群体层面估算了 AI 辅助内容的比例。这种方法基于以下假设:大语言模型倾向于选择某些词汇、句子结构和语言模式,这些模式与典型的人类写作略有不同。

为验证他们的方法,研究人员创建了包含已知 AI 内容百分比 (从 0% 到 25%) 的测试集,发现他们的方法预测这些百分比的错误率低于 3.3%。这种统计验证使他们对群体层面的估算充满信心。

虽然研究人员特别指出他们的估算可能代表 AI 使用的最低水平,但重要的是要理解实际的 AI 参与可能会显著更高。由于难以检测经过大量编辑或越来越复杂的 AI 生成内容,研究人员表示,他们报告的采用率可能大大低估了生成式 AI 的真实使用水平。

分析表明 AI 工具具有"均衡作用"

虽然整体采用率很有启发性,但或许更有见地的是谁在使用 AI 写作工具,以及这些模式如何挑战关于技术采用的传统假设。

在研究 CFPB 投诉 (一个收集消费者金融产品和服务投诉的美国公共资源) 时,研究人员的地理分析显示美国各州之间存在显著差异。

阿肯色州显示最高采用率,为 29.2% (基于 7,376 份投诉),其次是密苏里州的 26.9% (16,807 份投诉) 和北达科他州的 24.8% (1,025 份投诉)。相比之下,西弗吉尼亚州 (2.6%)、爱达荷州 (3.8%) 和佛蒙特州 (4.8%) 显示出最低的 AI 写作采用率。主要人口中心表现出适中的采用率,加利福尼亚州为 17.4% (157,056 份投诉),纽约州为 16.6% (104,862 份投诉)。

城乡差距最初遵循预期的技术采用模式,但出现了有趣的转折。使用乡村城市通勤区 (RUCA) 代码,研究人员发现在 2023 年初,城市和农村地区最初以相似的速度采用 AI 写作工具。然而,到 2023 年中期,采用轨迹出现分化,城市地区达到 18.2% 的采用率,而农村地区为 10.9%。

与典型的技术扩散模式相反,教育程度较低的地区显示出更高的 AI 写作工具使用率。比较州级本科学位获得率中位数以上和以下的地区,大学毕业生较少的地区的采用率稳定在 19.9%,而教育程度更高的地区为 17.4%。这种模式在城市地区内部也成立,教育程度较低的社区显示 21.4% 的采用率,而教育程度较高的城市地区为 17.8%。

研究人员认为,AI 写作工具可能为教育经验较少的人提供了一个优势。研究人员写道:"虽然城乡数字鸿沟似乎仍然存在,但我们发现在消费者投诉中,教育程度较低的地区显示出略高的大语言模型采用率,这表明这些工具可能在消费者权益倡导方面起到均衡作用。"

企业和外交领域的 AI 写作趋势

据研究人员称,他们分析的所有领域 (消费者投诉、企业沟通、职位发布) 都显示出类似的采用模式:从 ChatGPT 2022 年 11 月发布后 3-4 个月开始急剧增加,随后在 2023 年底趋于稳定。

在职位发布分析中,组织年龄成为 AI 写作使用的最强预测因素。2015 年之后成立的公司显示出的采用率是 1980 年之前成立的公司的三倍,在某些职位中达到 10-15% 的 AI 修改文本,而较老的组织低于 5%。员工较少的小公司也比大型组织更容易采用 AI。

在按行业examining企业新闻稿时,科技公司最广泛地整合了 AI,到 2023 年底采用率达到 16.8%。商业和金融新闻 (14-15.6%) 以及人员和文化主题 (13.6-14.3%) 显示出略低但仍然显著的采用率。

在国际领域,拉丁美洲和加勒比地区的联合国国家团队在国际组织中显示出最高的采用率,约为 20%,而非洲国家、亚太国家和东欧国家到 2024 年显示出更温和的增长,达到 11-14%。

影响和局限性

在研究中,研究人员承认由于专注于英语内容而导致分析存在局限性。此外,如前所述,他们发现无法可靠地检测经过人工编辑的 AI 生成文本,或由被指示模仿人类写作风格的较新模型生成的文本。因此,研究人员表示,他们的发现代表了 AI 写作工具实际采用率的下限。

研究人员指出,2024 年 AI 写作采用的平稳可能反映市场饱和,或越来越复杂的大语言模型产生的文本逃避了检测方法。他们总结说,我们现在生活在一个区分人类和 AI 写作变得越来越困难的世界,这对整个社会的沟通都有影响。

研究人员写道:"对 AI 生成内容的日益依赖可能会给沟通带来挑战。在敏感类别中,过度依赖 AI 可能导致信息无法解决关切问题,或者向外部发布的信息总体上不太可信。过度依赖 AI 还可能导致公众对企业发送的信息真实性产生不信任。"

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OJCVOTws-q17oalnj_gJ3f_Q0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券