← 返回 AIRadar 首页

Hugging Face 推出 2.8 万亿 Token 印度语预训练语料库与开源数据流水线

Hugging Face 针对多语言大模型预训练瓶颈，开源了包含 2.8 万亿 Token 的高质量印度语系语料库及完整的数据生成与清洗流水线。