(资料图)
这一步非常简单,我们将使用两个开源库。
通过文档我们看到了一些主要方法。第一个是数据集的列表,可以看到HuggingFace提供了 3500 个可用数据集
要实际使用数据集时可以使用 load_dataset 方法进行加载
加载数据集后会返回一个数据集对象。
我们在最终使用的时候肯定会用到自己的数据,这时仍然可以将本地 CSV 文件和其他文件类型加载到Dataset 对象中。例如,假设有一个 CSV 文件,可以简单地将其传递给 load_dataset 方法。
也可以处理多个 CSV 文件
当使用 HuggingFace 提供的预训练模型对自己的数据集进行微调时,使用自定义数据集会非常方便。
关键词:
Copyright 2000-2023 by www.jiaoyu.feizhou.com.cn all rights reserved
邮箱 : 58 55 97 3@qq.com