tensorflow_datasets 如何load本地的數據集?
本人小白一個,最近的一個工程要用到plantvillage數據集,查了一下在tfds的databuilder列表裡面,可以直接用tfds載入,但是問題來了,這個下載的速度實在太慢了…沒一會兒python就報網路錯誤了 我進了tfds的源碼裏找到了plantvillage 的載入url,放迅雷裏硬下完了,但是不知道怎麼載入成tf.data.dataset,求問一下載入本地數據集的方法,或者如何才能讓tfds載入的時候使用鏡像?
TensorFlow Datasets 數據集載入?tf.wiki
配置環境變數可以使用梯子
同問,已經迅雷下載了還是報找不到,好著急
你是問API還是問原理?
你可以看一下你用程序下載的時候,程序下載到何處,然後你就把你下載好的東西放在那
據我所知,tensorflow會自動判別你的數據集是否存在,如果存在,它就會跳過下載步驟。
這裡有個大坑,tf這裡會給你的路徑加一些東西
代碼如下:
import tensorflow_datasets as tfds
examples, metadata = tfds.load(name=ted_hrlr_translate/pt_to_en,
with_info=True,
as_supervised=True,
data_dir = "/Users/promise/Downloads/qi18naacl-dataset/pt_to_en",
download=False)
首先報錯信息如下:
AssertionError: Dataset ted_hrlr_translate: could not find data in /Users/promise/Downloads/qi18naacl-dataset/pt_to_en. Please make sure to call dataset_builder.download_and_prepare(), or pass download=True to tfds.load() before trying to access the tf.data.Dataset object.
從這裡可以看到,報錯指明是找不到文件。
來看下源碼