实战中怎么用预训练语料库权重分布？

公开的学术论文（如 GPT-3/Llama/Dolma 语料构成）早已揭开了大模型"童年书架"的底牌：过滤后的高质量 Common Crawl（全网公开网页抓取库，经 PageRank 和质量分类器清洗）在 GPT-3 论文公开的训练配比里约占 60%（这是 GPT-3 一家的口径，Llama 与新一代模型多不公开或配比不同）； Wikipedia & Wikidata（百科事实基准）被高倍率重复采样（Upsampled），权重极高；

预训练语料库权重分布 Pre-Training Corpus Weight: Common Crawl, Wikipedia, Reddit

Q: 实战中怎么用预训练语料库权重分布？

公开的学术论文（如 GPT-3/Llama/Dolma 语料构成）早已揭开了大模型"童年书架"的底牌： 过滤后的高质量 Common Crawl（全网公开网页抓取库，经 PageRank 和质量分类器清洗） 在 GPT-3 论文公开的训练配比里约占 60%（这是 GPT-3 一家的口径，Llama 与新一代模型多不公开或配比不同）； Wikipedia & Wikidata（百科事实基准） 被高倍率重复采样（Upsampled），权重极高；

词条 #612 / 700 · 第 13 章 · 13.1 AI 搜索产品矩阵与底层 RAG / 查询扇出机制（601–615）

一句话定义

决定各大语言模型在出生训练阶段"读过哪些网站、哪些网站的话在它心里分量最重"的底层数据集配比规律。

打个比方 Analogy

看一个孩子长大后说话的腔调和三观，主要看他童年家里书架上摆的到底是《大英百科全书》《人民日报》，还是地摊故事会。

岗位实战怎么做 In Practice

公开的学术论文（如 GPT-3/Llama/Dolma 语料构成）早已揭开了大模型"童年书架"的底牌：

过滤后的高质量 Common Crawl（全网公开网页抓取库，经 PageRank 和质量分类器清洗） 在 GPT-3 论文公开的训练配比里约占 60%（这是 GPT-3 一家的口径，Llama 与新一代模型多不公开或配比不同）；
Wikipedia & Wikidata（百科事实基准） 被高倍率重复采样（Upsampled），权重极高；
Reddit 高赞讨论帖与通过 Reddit 外链分享出去的网页（WebText 数据集的核心定义就是：凡是在 Reddit 上被网友分享且获得 ≥3 个赞 Karma 的外部链接，即被视为人类严选高质量网页！）；
GitHub 开源文档、StackExchange、ArXiv 学术论文与主流新闻通讯社。

案例与避坑 Pitfalls

再读一遍上面第 3 条！OpenAI 当年构建 WebText 高质量网页库的标准， literalmente 就是"看这个网址有没有在 Reddit 上被分享并拿到 3 个以上的赞"！ 这就是为什么真实社区传播在 AI 时代拥有核武器级权重的底层原因。