百事通!唐宇迪NLP实战-Huggingface神器

来源:哔哩哔哩 时间:2023-05-16 22:54:52


(资料图)

HuggingFace 内置数据集的使用

这一步非常简单,我们将使用两个开源库。

数据集提供的方法

通过文档我们看到了一些主要方法。第一个是数据集的列表,可以看到HuggingFace提供了 3500 个可用数据集

要实际使用数据集时可以使用 load_dataset 方法进行加载

加载数据集后会返回一个数据集对象。

自定义数据集加载

我们在最终使用的时候肯定会用到自己的数据,这时仍然可以将本地 CSV 文件和其他文件类型加载到Dataset 对象中。例如,假设有一个 CSV 文件,可以简单地将其传递给 load_dataset 方法。

也可以处理多个 CSV 文件

当使用 HuggingFace 提供的预训练模型对自己的数据集进行微调时,使用自定义数据集会非常方便。

关键词:

推荐内容

Copyright 2000-2023 by www.jiaoyu.feizhou.com.cn all rights reserved

备案号:沪ICP备2022005074号-8

邮箱 : 58 55 97 3@qq.com