tensorflow_datasets 如何load本地的数据集?
本人小白一个,最近的一个工程要用到plantvillage数据集,查了一下在tfds的databuilder列表里面,可以直接用tfds载入,但是问题来了,这个下载的速度实在太慢了…没一会儿python就报网路错误了 我进了tfds的源码里找到了plantvillage 的载入url,放迅雷里硬下完了,但是不知道怎么载入成tf.data.dataset,求问一下载入本地数据集的方法,或者如何才能让tfds载入的时候使用镜像?
TensorFlow Datasets 数据集载入?tf.wiki
配置环境变数可以使用梯子
同问,已经迅雷下载了还是报找不到,好著急
你是问API还是问原理?
你可以看一下你用程序下载的时候,程序下载到何处,然后你就把你下载好的东西放在那
据我所知,tensorflow会自动判别你的数据集是否存在,如果存在,它就会跳过下载步骤。
这里有个大坑,tf这里会给你的路径加一些东西
代码如下:
import tensorflow_datasets as tfds
examples, metadata = tfds.load(name=ted_hrlr_translate/pt_to_en,
with_info=True,
as_supervised=True,
data_dir = "/Users/promise/Downloads/qi18naacl-dataset/pt_to_en",
download=False)
首先报错信息如下:
AssertionError: Dataset ted_hrlr_translate: could not find data in /Users/promise/Downloads/qi18naacl-dataset/pt_to_en. Please make sure to call dataset_builder.download_and_prepare(), or pass download=True to tfds.load() before trying to access the tf.data.Dataset object.
从这里可以看到,报错指明是找不到文件。
来看下源码