这些提示了涵盖了个关键的应

为此，开发了一个高质量人工评估数据集，包含,个提示，用场景，包括询问建议、头脑风暴、分类、选择题、编码、创意写作、信息提取、角色扮演、开放性问答、逻辑推理、改写和总结。 为了防止 在评估数据集上过拟合，建模团队自己也无法访问它。 人工评估结果显示， 的表现远胜于 、-、 和 。大模型发展到如今，再要往哪里创新？ 在整个项目中，重点关注了四个关键要素：模型架构、训练数据、扩大训练规模以及指

令微调。 分词器+ 在架构上，依然为 选择了架构。 这个架构是相对 日本手机号码 标准的纯解码器，不过相比于 做了几个关键改进。 比如， 使用了一个具有个的分词器，可以更有效地编码语言，这就显著提高了模型性能。而为了提高 模型的推理速度，在和两种规模上都采用了分组查询注意力（ ，）机制。 此外，还在,个的序列上训练模型，并通过掩码确保自注意力机制不会跨越文档边界。 万亿训练，倍于 同时，大型高质量的训练数据集也至关重要。 为了预训练数据，团队投入了大量资源。 最终， 在超









过万亿个上进行了预训练，而这些都是从公开可用的来源收集的。它的训练数据集比 的大倍，并且包含倍多的代码。 为了应对多语言场景， 的预训练数据集中有超过%是高质量的非英语数据，涵盖了多种语言。 同时，为了让训练数据具有足够高的质量，开发了一系列数据过滤管道。 这些管道包括使用了启发式过滤器、过滤器、语义去重方法和文本分类器，用来预测数据质量。 在这个过程中一个有意思的点就是—— 前几代的 在识别高质量数据方面居然出奇得好，因此，使用 来生成了用于训练 的文本质量分类器的训练数据。