Corpus通常指围绕语言研究或语言技术用途组织起来的一组材料,中文常称语料或语料库。材料可以是书面文本、口语转写、录音及与语言相关的多模态记录,范围需在具体项目中说明。
语言材料需要语境
同一句话在访谈、戏剧和日常交流中可能具有不同含义。材料来自哪些场景、说话者群体怎样构成、采用什么标注,都会影响后续解释。
语料库与数据集有什么关系
语料库可以被看作围绕语言材料组织的数据集合,但“数据集”包含更广的记录类型。语料也不必只服务模型训练,还可以帮助研究历史表达、语言变化、翻译和文化经验。
一个地方表达的例子
研究者收集同一词语的不同用例,比较使用场合和说话者解释。保留不同解释,比把所有材料统一改写成一种标准答案更有助于理解。
理解这些问题时,可以结合Data继续比较相关概念的含义与适用范围。
相关项目探索,可从LingoAI的数据方向继续了解。
常见问题:网络上能读到的文字就能任意用于训练吗? 公开可见与允许某项再利用不是同一问题。需要核对来源的使用条件与相关授权。
公开参考资料: Data Statements for NLP。