当前位置:周记财经 > 资讯 > 正文内容

大模型训练将耗尽人类语言?AIGC暴露潜在瓶颈 合成数据成“救星”

更新时间:2026-08-19 00:24:30 资讯3年前 (2023-04-21)43
《科创板日报》3月8日讯 中国证监会科技监管局局长姚前日前在《中国金融》杂志撰文称,建议重点发展基于AIGC技术的合成数据产业。以更高效率、更低成本、更高质量为数据要素市场“增量扩容”,助力打造面向人工智能未来发展的数据优势。其实,从字面上并不难理解,“合成数据”是运用计算机模拟生成的人造数据,它的用途――就是用来模拟现实世界的观察与观测。以ChatGPT为代表的AIGC应用基于大模型,即由庞大数据集训练而成。随着AIGC应用端不断丰富,更智能的工具需要更多的数据进行训练。而真实世界的数据总归是有限的,其收集和处理是个昂贵且缓慢的过程,合成数据或成破解难题的最佳选择。

《科创板日报》3月8日讯(编辑 宋子乔) 中国证监会科技监管局局长姚前日前在《中国金融》杂志撰文称,建议重点发展基于AIGC技术的合成数据产业。以更高效率、更低成本、更高质量为数据要素市场“增量扩容”,助力打造面向人工智能未来发展的数据优势。

那么,究竟什么是合成数据?它又为什么可以为数据要素市场“增量扩容”呢?

其实,从字面上并不难理解,“合成数据”是运用计算机模拟生成的人造数据,它的用途――就是用来模拟现实世界的观察与观测。简言之,合成数据是计算机“举一反三”制造的模拟数据,为训练、测试、验证AI模型和算法而生,相当于为AI模型打造一片“题海”。

大模型训练将耗尽人类语言?AIGC暴露潜在瓶颈 合成数据成“救星”

以ChatGPT为代表的AIGC应用基于大模型,即由庞大数据集训练而成。OpenAI透露,ChatGPT的训练使用了45TB的数据、近1万亿个单词,大概是1351万本牛津词典所包含的单词数量。随着AIGC应用端不断丰富,更智能的工具需要更多的数据进行训练。

来自阿伯丁大学、麻省理工大学、图宾根大学的Pablo Villalobos等6位计算机科学家就预测,到2026年,ChatGPT等大型语言模型的训练就将耗尽互联网上的可用文本数据,届时将没有新的训练数据可供使用。

人工智能新时代的发展离不开可靠、海量的数据。而真实世界的数据总归是有限的,其收集和处理是个昂贵且缓慢的过程,合成数据或成破解难题的最佳选择。

相关文章

美畅股份(300861.SZ):富隆工业园两栋厂房的设备计划一季度末安装完成,建成后将具备1600万公里的月产能

美畅股份(300861.SZ):富隆工业园两栋厂房的设备计划一季度末安装完成,建成后将具备1600万公里的月产能

后续还将继续对富隆工业园两栋厂房在进行设备安装,目前厂房装修已经基本收尾,计划一季度末安装完成,建成后将具备1600万公里的月产能。格隆汇2月28日丨美畅股份(300861.SZ)于2023年2月23...

招商银行前行长田惠宇被提起公诉,涉及受贿、滥用职权、利用非公开信息交易等

招商银行前行长田惠宇被提起公诉,涉及受贿、滥用职权、利用非公开信息交易等

  “落马”10个月后,招商银行前行长田惠宇违法违规的详情被披露。  2月28日,最高人民检察院披露,招商银行股份有限公司原党委书记、行长田惠宇涉嫌受贿、国有公司人员滥用职权、利用未公开信息交易一案,...

真兰仪表(301303):召开2023年第一次临时股东大会,审议5项议案

真兰仪表(301303):召开2023年第一次临时股东大会,审议5项议案

,本次会议采用以现场投票与网络投票相结合的方式召开,股东可以通过深交所交易系统和互联网投票系统参加投票。会议计划审议内容如下: 《关于变更公司注册资本、公司类型、修订并办理工商变更登记的议案》。,《关...

石油股早盘持续走高 中海油田服务现涨超4%

石油股早盘持续走高 中海油田服务现涨超4%

  石油股早盘持续走高,中海油田服务(02883)上涨4.16%,报9.02港元,成交额2516.002万港元;   中国石油化工股份(00386)上涨1.74%,报5.25港元,成交额2.449亿...

没有主线拉升赚钱效应带动场外资金,指数短期内很难有进一步上攻动力

没有主线拉升赚钱效应带动场外资金,指数短期内很难有进一步上攻动力

凌空在个人文章中表示,今天市场没有特别出彩的行情出现,多看少动是一个好选择。他分享了一本推荐的历史书《枪炮,病菌与钢铁》,认为读史能使人更明智,具备更强的思辨、逻辑和洞察力。关于操...

佳云科技(300242)盘中异动 股价振幅达7.67% 跌6.88% 报3.52元(05-16)

佳云科技(300242)盘中异动 股价振幅达7.67% 跌6.88% 报3.52元(05-16)

摘要:2023年05月16日佳云科技(300242)股价大幅跳水6.88%,该股报3.52元/股,振幅7.67%。 2023年05月16日13时01分,佳云科技(...