MatPool Public Dataset

公开数据集

在矩池云实例中直接访问常用公开数据集，减少下载和环境准备时间训练、验证、课程实验和 baseline 复现，都可以先从公共目录开始

查看数据集目录查看使用方式

统一资源目录

常用数据集集中放在 /public 与 /dataset 下，租用机器后可以直接进入目录查看

减少重复下载

训练、验证、课程实验前先查看公共目录，常见数据可以直接复制到自己的工作目录使用

只读更安心

公共目录默认只读，避免误删共享资源；需要写入时复制到自己的机器目录或网盘目录

覆盖多类任务

图像、文本、音频、竞赛、框架预置数据集等常见 AI 场景都能快速定位

Usage

使用前先确认目录和权限

公共数据集和模型分布在机器中的 /public 和 /dataset 目录下公共目录为只读权限，使用时请先复制到自己的工作目录

在 1 区租用矩池云机器后，打开终端或文件管理器

进入对应访问路径，例如 /public/keras_datasets 或 /dataset

将需要的数据复制到自己工作目录，再在训练代码中读取

# 若路径不存在则先创建mkdir -p ~/.keras/datasets/# 复制到目标路径cp /public/keras_datasets/cifar-10-batches-py.tar.gz ~/.keras/datasets/

import kerasfrom keras.datasets import cifar10(x_train, y_train), (x_test, y_test) = cifar10.load_data()

Catalog

按目录快速查找

先看目录类型，再进入对应数据集列表大型数据集在 /dataset，下方其他数据集主要在 /public 下

14 items

大型数据集

主要存放体积较大的公开数据集，需要完成网盘扩容后才会在租用机器目录中显示

/dataset

7 items

Keras 预置数据集

适合通过 Keras datasets API 快速加载，先复制到 Keras 默认缓存目录后使用

/public/keras_datasets

3 items

PyTorch 数据集

适合 torchvision.datasets 场景，复制到 root 参数指定的目录后加载

/public/torchvision_datasets

7 items

TensorFlow 数据集

适合 TensorFlow Datasets 与常见训练样例使用

/public/tensorflow_datasets/

31 items

Image 图像数据集

覆盖分类、检测、分割、人脸、医学影像、自动驾驶与跟踪等视觉任务

/public/data/image

13 items

NLP 自然语言处理数据集

包含文本分类、情感分析、阅读理解、语言建模与常用 NLP 工具数据

/public/data/nlp

9 items

视频、音乐与音频数据集

包含视频追踪、音乐样例、语音识别和中文语音数据

/public/data/videos_and_music · /public/data/speech/

7 items

Kaggle 与天池竞赛数据集

收录部分竞赛常用数据，适合算法练习、课程作业和 baseline 复现

/public/data/kaggle_competitions · /public/data/天池/

大型数据集

主要存放体积较大的公开数据集，需要完成网盘扩容后才会在租用机器目录中显示

/dataset

名称	适用说明	数据文件 / 文件夹路径
ImageNet2012	ImageNet 大规模视觉识别挑战赛 2012 (ILSVRC2012)数据集。	`/dataset/ImageNet2012`
ImageNet2014	ImageNet 大规模视觉识别挑战赛 2014 (ILSVRC2014)数据集。	`/dataset/ImageNet2014`
ImageNet2015	ImageNet 大规模视觉识别挑战赛 2015 (ILSVRC2015)数据集。	`/dataset/ImageNet2015`
COCO 2017	2017年 COCO 竞赛的数据集，全称是Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集。COCO 2017数据集包括train(118287张)、val(5000张)、test(40670张)	`/dataset/coco2017`
Cityscapes	Cityscapes拥有5000张在城市环境中驾驶场景的图像（2975train，500 val,1525test）。它具有19个类别的密集像素标注（97％coverage），其中8个具有实例级分割。	`/dataset/Cityscapes`
VoxCeleb2	大型人声识别数据集，包含超过6000说话人共计超过百万的语音句子，适用于噪声和非约束场景下的声纹识别任务	`/dataset/VoxCeleb2`
AlphaFold	AlphaFold 蛋白质数据库，由 DeepMind 推出可用于预测蛋白质3D结构。	`/dataset/alphafold`
nuScenes	nuScenes数据集是 Motional 团队开发的公共大型自动驾驶数据集。	`/dataset/nuScenes`
OpenLane1.2	OpenLane是第一个真实世界的，也是迄今为止规模最大的3D车道数据集。	`/dataset/OpenLane1.2`
LaSOT	CVPR2019 提出的单目标跟踪数据集，包含 1550 个序列，超过 3.87 万帧的数据，完全手动标注的高精度数据集。包含85 个类别，每个类别包含 20 个（70 个类）或 10 个（15 个类）序列，平均视频长度约为 2，500 帧（即 83 秒），每个序列具备视觉和语言注释。	`/dataset/LaSOT`
iNaturalist 2018	大规模生物图像分类数据集，数据集中共有 8142 个物种，其中 437，513 张训练图像和 24，426 张验证图像。每个图像都有一个真实值标签。	`/dataset/iNaturalist2018`
SemanticKITTI	一个基于 KITTI Vision Benchmark 的大规模数据集，包括了里程计任务提供的所有序列。	`/dataset/SemanticKITTI`
LUNA16	LUng Nodule Analysis 2016 赛事数据集	`/dataset/LUNA16`
Genecorpus-30M	一个大规模的预训练语料库，其中包括来自广泛范围组织的约3000万个人类单细胞转录组数据，这些数据来自公开可用的数据集。	`/dataset/Genecorpus-30M`

Dataset

框架预置数据集

保留旧文档中的分类与访问路径，页面内按任务和框架重新组织，方便浏览和对比

Keras 预置数据集

适合通过 Keras datasets API 快速加载，先复制到 Keras 默认缓存目录后使用

/public/keras_datasets

名称	适用说明	数据文件 / 文件夹路径
MNIST	经典的小型（28x28 像素）灰度手写数字数据集，共 10 类，用于灰度数据图像识别。训练集 60000 张，测试集 10000 张。	`/public/keras_datasets/mnist.npz`
CIFAR10	10 个类别，32x32 像素彩色图像，用于图像分类。训练集 50000 张，测试集 10000 张。	`/public/keras_datasets/cifar-10-batches-py.tar.gz`
CIFAR100	100 个类别，32x32 像素彩色图像，用于图像分类。训练集 50000 张，测试集 10000 张。	`/public/keras_datasets/cifar-100-python.tar.gz`
IMDB	电影影评情感分类，训练集 25000 条评论，正面评价标为 1，负面评价标为 0。测试集 25000 条评论。	`/public/keras_datasets/imdb.npz`
REUTERS	路透社新闻专线主题分类，11228条新闻专线，46个主题。	`/public/keras_datasets/reuters.npz`
FASHION MNIST	训练集 60000 张，大小28*28，共10类（0-9），测试集 10000 张图像。	`/public/keras_datasets/fashion-mnist`
BOSTON HOUSING	波斯顿房价回归数据集。	`/public/keras_datasets/boston_housing.npz`

PyTorch 数据集

适合 torchvision.datasets 场景，复制到 root 参数指定的目录后加载

/public/torchvision_datasets

名称	适用说明	数据文件 / 文件夹路径
MNIST	经典的小型（28x28 像素）灰度手写数字数据集，共 10 类，用于灰度数据图像识别。训练集 60000 张，测试集 10000 张。	`/public/torchvision_datasets/MNIST`
FashionMNIST	训练集 60000 张，大小28*28，共10类（0-9），测试集 10000 张图像。	`/public/torchvision_datasets/FashionMNIST`
CIFAR10	10 个类别，32x32 像素彩色图像，用于图像分类。训练集 50000 张，测试集 10000 张。	`/public/torchvision_datasets/cifar-10-batches-py`

TensorFlow 数据集

适合 TensorFlow Datasets 与常见训练样例使用

/public/tensorflow_datasets/

名称	适用说明	数据文件 / 文件夹路径
MNIST	经典的小型（28x28 像素）灰度手写数字数据集，共 10 类，用于灰度数据图像识别。训练集 60000 张，测试集 10000 张。	`/public/tensorflow_datasets/mnist`
CIFAR10	数据集由6万张32*32的彩色图片组成，10 个类别，32x32 像素彩色图像，用于图像分类。训练集 50000 张，测试集 10000 张。	`/public/tensorflow_datasets/cifar10`
CIFAR100	100 个类别，32x32 像素彩色图像，用于图像分类。训练集 50000 张，测试集 10000 张。	`/public/tensorflow_datasets/cifar100`
IMDB REVIEWS	电影影评情感分类，训练集 25000 条评论，正面评价标为 1，负面评价标为 0。测试集 25000 条评论。	`/public/tensorflow_datasets/imdb_reviews`
TF FLOWERS	数据集为五种花朵数据集，分别为雏菊（daisy），郁金香（tulips），向日葵（sunflowers），玫瑰（roses），蒲公英（dandelion）。	`/public/tensorflow_datasets/tf_flowers`
FASHION MNIST	训练集 60000 张，大小28*28，共10类（0-9），测试集 10000 张图像。	`/public/tensorflow_datasets/fashion_mnist`
CATS VS DOGS	这个数据集是Kaggle大数据竞赛的一道赛题，利用给定的数据集，用算法实现猫和狗的识别。猫和狗的图片数量都是12500张且按顺序排序	`/public/tensorflow_datasets/cats_vs_dogs`

Dataset

任务数据集

保留旧文档中的分类与访问路径，页面内按任务和框架重新组织，方便浏览和对比

Image 图像数据集

覆盖分类、检测、分割、人脸、医学影像、自动驾驶与跟踪等视觉任务

/public/data/image

名称	适用说明	数据文件 / 文件夹路径
taskcv-2017-public	来自于VisDA2017竞赛，是一个针对领域自适应的、从仿真器到现实环境的数据集。包含训练、验证和测试三个领域共包含 12 类 28 万张图像，训练图像是同一物体在不同情况下生成的。	`/public/data/image/taskcv-2017-public`
3D_Segmentation	来自 EPFL CVLab 的电子显微镜下图像，可用于图像分割。	`/public/data/image/3D_segmentation`
VOC 2012	来自 PASCAL VOC 2012 数据集，此数据集可以用于图像分类、目标检测、图像分割。	`/public/data/image/voc2012`
COCO 2014	起源于微软的 Common Objects in Context，是一个大型的、丰富的物体检测、分割和标注数据集。	`/public/data/image/COCO2014`
ModelNet	ModelNet 数据集由普林斯顿视觉与机器人实验室于 2015 年发布，提供全面的物体 3D 模型。	`/public/data/image/ModelNet`
CASIA-WebFace	是一个大规模人脸数据集，主要用于身份鉴定和人脸识别，其包含 10,575 个主题和 494,414 张图像。	`/public/data/image/CASIA-WebFace`
Flickr8k	数据集包含8,000张图像，每张图像都与五个不同的标题配对，这些标题提供了对图片中物体和事件的内容描述。详细内容	`/public/data/image/Flickr8k`
DRIVE	用于视网膜病变研究的数据集，相关图像均来自于荷兰的糖尿病视网膜病变筛查计划，其被用于视网膜图像中的血管分割比较研究。	`/public/data/image/DRIVE`
DOTA	DOTA 数据集是用于航拍图像中的目标检测的大型图像数据集，包含 2806 张遥感图像，近 19 万个标注实例	`/public/data/image/DOTA`
Ai_Challenger_Caption	数据来自2017 AI Challenger，数据集对给定的每一张图片有五句话的中文描述。数据集包含30万张图片，150万句中文描述。训练集：210,000 张，验证集：30,000 张，测试集 A：30,000 张，测试集 B：30,000 张。	`/public/data/image/Ai_Challenger_Caption_2017`
KITTI 3D Object Detection	包含对实际交通场景进行数据采集获得的公开数据集，包含7481张训练图片以及7518张测试图片，一共有80256个标记物体。并且测试模式包含普通的视角以及鸟瞰视角。	`/public/data/image/KITTI`
20bn-jester-v1	该数据集由大量的人群工作者创建，它允许训练健壮的机器学习模型来识别人的手势。其中训练集为118562个视频，验证集为14787个视频，测试集为14743个视频，总共27类标签。	`/public/data/image/20bn-jester-v1`
AVA_dataset	一个美学质量评估的数据库，包括250000张照片。每一张照片，都有一系列的评分，以及语义级别的label，其中语义级别的label共60类，同时还有14类photographic style。	`/public/data/image/AVA_dataset`
CelebA	CelebA是CelebFaces Attribute的缩写，意即名人人脸属性数据集，其包含10,177个名人身份的202,599张人脸图片，每张图片都做好了特征标记，包含人脸bbox标注框、5个人脸特征点坐标以及40个属性标记，CelebA由香港中文大学开放提供，广泛用于人脸相关的计算机视觉训练任务，可用于人脸属性标识训练、人脸检测训练以及landmark标记等	`/public/data/image/CelebA`
CIFAR10	数据集由6万张32*32的彩色图片组成，10 个类别，32x32 像素彩色图像，用于图像分类。训练集 50000 张，测试集 10000 张。	`/public/data/image/cifar10`
Food-101	包含了101 种食品类别的图像数据集，共有101,000 张图像，平均每个类别拥有250张测试图像和750张训练图像。	`/public/data/image/food-101.tar.gz`
MedMNIST	上海交大发布的医学图像分析数据集。由18个类MNIST的生物医学图像数据集组成，包括12个2D数据集（共708069例，28x28）以及6个3D数据集（共10214例，28x28x28），涵盖大部分的医学图像数据模态、多样的数据规模和丰富的任务类型	`/public/data/image/medmnist`
mini-imagenet	由ImageNet提取的适用于小样本学习的数据集。miniImageNet包含100类共60000张彩色图片，其中每类有600个样本，每张图片的规格为84 × 84 。	`/public/data/image/mini-imagenet`
MNIST	经典的小型（28x28 像素）灰度手写数字数据集，共 10 类，用于灰度数据图像识别。训练集 60000 张，测试集 10000 张。	`/public/data/image/mnist`
GOT-10K	通用的目标追踪数据集，该数据集包含 10，000 多个真实世界移动对象的视频片段和超过 150 万个手动标记的边界框。涵盖了大多数560+类真实世界的运动对象和80+类运动模式。同时，该数据集提供了额外的标签，包括对象可见比率和运动类，作为处理特定挑战的额外监督。	`/public/data/image/GOT-10K`
3D_Lane_Synthetic	这是一个综合数据集，旨在促进 3D 车道检测方法的开发和评估。	`/public/data/image/3D_Lane_Synthetic`
CULane	CULane 是一个用于交通车道检测学术研究的大型挑战性数据集。	`/public/data/image/CULane`
GraspNet	GraspNet是一个持续丰富的通用物体抓取的开放项目。	`/public/data/image/GraspNet`
InterHand2.6M	从单个RGB图像中进行3D交互手部姿态估计的数据集（ECCV 2020）	`/public/data/image/InterHand2.6M`
LIDCdata	肺部图像数据库联盟 (LIDC) 和图像数据库资源倡议 (IDRI)：CT 扫描肺结节的完整参考数据库。	`/public/data/image/LIDCdata`
LUNA16-Mask	2016 年肺结节分析赛事相关数据集	`/public/data/image/LUNA16-Mask`
LUNA2016	2016 年肺结节分析赛事数据集	`/public/data/image/LUNA2016`
TT100K	清华-腾讯100K（官方训练和测试集），原始训练集包括6105张图像，原始测试集包括3071张图像。	`/public/data/image/TT100K`
Tusimple	车道线检测相关数据集	`/public/data/image/Tusimple`
WikiArt-Refined	WikiArt 包含 195 名不同艺术家的绘画作品。该数据集有 42129 张训练图像和 10628 张测试图像。	`/public/data/image/WikiArt-Refined`
AVisT	AVisT 提供专用的视觉对象跟踪数据集，涵盖与现实应用程序高度相关的各种不利场景。	`/public/data/image/AVisT`

NLP 自然语言处理数据集

包含文本分类、情感分析、阅读理解、语言建模与常用 NLP 工具数据

/public/data/nlp

名称	适用说明	数据文件 / 文件夹路径
UCI-spambase	经典的垃圾邮件分类数据集	`/public/data/nlp/UCI-spambase`
amazonreviews	来自亚马逊的商品评论	`/public/data/nlp/amazonreviews`
dbpedia	来自 Wikipedia 的文章分类	`/public/data/nlp/dbpedia`
dbpedia_14	基于DBpedia2014的14个不重叠的分类数据集，包含40,000训练样本和5,000测试样本。源自维基百科的语义词条	`/public/data/nlp/dbpedia_14.zip`
glue	通用语言理解评估基准，面向9项任务的数据集，参考gluebenchmark	`/public/data/nlp/glue.zip`
imdb-sentiments	电影影评情感分类，训练集 25000 条评论，正面评价标为 1，负面评价标为 0。测试集 25000 条评论。	`/public/data/nlp/imdb-sentiments`
newsgroup	用于文本分类、文本挖据和信息检索研究的国际标准数据集之一。数据集收集了大约20,000左右的新闻组文档，均匀分为20个不同主题的新闻组集合	`/public/data/nlp/newsgroup.zip`
nltk_data	NLTK，自然语言处理工具包的数据库，常用于NLP领域	`/public/data/nlp/nltk_data`
SQuAD	斯坦福问答数据集，一个阅读理解数据集	`/public/data/nlp/squad.zip`
super_glue	更新版的Glue数据集	`/public/data/nlp/super_glue.zip`
wikitext	英语词库数据是由Salesforce MetaMind策划的包含1亿个词汇的大型语言建模语料库。这些词汇都是从维基百科一些经典文章中提取得到	`/public/data/nlp/wikitext.zip`
yahooAnswers	数据集源于 Yahoo！Answers Comprehensive Questions and Answers 1.0 的 10个主要分类数据，每个类别分别包含 140000 个训练样本和 5000 个测试样本	`/public/data/nlp/yahooAnswers.zip`
yelp_review_full	这个数据集是Yelp业务、评论和用户数据的一个子集。包含大量的评论、业务、用户、提示和签到数据	`/public/data/nlp/yelp_review_full.zip`

视频、音乐与音频数据集

包含视频追踪、音乐样例、语音识别和中文语音数据

/public/data/videos_and_music · /public/data/speech/

名称	适用说明	数据文件 / 文件夹路径
beethoven	贝多芬交响曲，以 mid 格式存储	`/public/data/videos_and_music/beethoven`
youtube8m	来自Youtube的视频，公开总数据有1.53TB，源数据集包含 8,000,000万个YouTube视频链接，矩池云仅提供若干样例	`/public/data/videos_and_music/youtube8m`
OTB100	该数据集总共包含 100 个序列，每个序列都用边界框和 11 个挑战属性逐帧注释。OTB-2015 数据集包含 OTB 数据集的所有 100 个序列。	`/public/data/videos_and_music/OTB100.zip`
NfS	该数据集由100个视频(380K帧)组成的单目标追踪数据集，这些视频由现在普遍使用的更高帧率(240 FPS)的摄像机从真实世界场景中捕获。所有帧都使用轴对齐的边界框进行注释，所有序列都使用九个视觉属性手动标记 - 光照变化、尺度变化、遮挡、非刚性物体变形、快速运动、视点切换、出视野、背景干扰、低分辨率。	`/public/data/videos_and_music/Nfs`
VoxCeleb1	大型人声识别数据集，包含超过1251说话人共计超过十万的语音句子，适用于噪声和非约束场景下的声纹识别任务。	`/public/data/speech/VoxCeleb1`
Free-ST-Chinese-Mandarin-Corpus	中文普通话语音数据集，包含来自855个对话者的102600句话。	`/public/data/speech/Free-ST-Chinese-Mandarin-Corpus`
LibriSpeech	公开数据集中最常用的英文语料，其中包含了1000小时的16kHz有声书录音，并且经过切割和整理成每条10秒左右的、经过文本标注的音频文件，非常适合入门使用。	`/public/data/speech/LibriSpeech`
THCHS-30	THCHS30是由清华大学语音与语言技术中心发布的开源中文语音数据集。数据集包含了1万余条语音文件，大约40小时的中文语音数据，内容以文章诗句为主，全部为女声。THCHS-30是在安静的办公室环境下，通过单个碳粒麦克风录取，采样频率16kHz，采样大小16bits。	`/public/data/speech/THCHS-30`
TIMIT	TIMIT数据集的语音采样频率为16kHz，一共包含6300个句子，由来自美国八个主要方言地区的630个人每人说出给定的10个句子，所有的句子都在音素级别（phonelevel）上进行了手动分割，标记。70%的说话人是男性；大多数说话者是成年白人。	`/public/data/speech/TIMIT`

Kaggle 与天池竞赛数据集

收录部分竞赛常用数据，适合算法练习、课程作业和 baseline 复现

/public/data/kaggle_competitions · /public/data/天池/

名称	适用说明	数据文件 / 文件夹路径
dogs_vs_cats_redux	Kaggle大数据竞赛的猫狗大战数据集，有1738张图片可供训练。	`/public/data/kaggle_competitions/dogs_vs_cats_redux`
msdchallenge	Kaggle 上的挑战赛，提供了百万的歌曲数据集（million song dateset），以预测用户会听哪一首歌。	`/public/data/kaggle_competitions/msdchallenge`
netflix_price_data	数据来源于 Netflix，希望有参赛者能写出更优的推荐算法。	`/public/data/kaggle_competitions/netflix_price_data`
transaction_prediction	数据来源于 Santander，以预测哪个用户可能会再次购买。	`/public/data/kaggle_competitions/transaction_prediction`
Traffic_Flow_KDD_CUP_2017	杭州市交通数据集	`/public/data/天池/ + Traffic_Flow_KDD_CUP_2017`
User-Behavior-Data-on-Taobao-App	淘宝 APP 用户行为数据集	`/public/data/天池/ + User-Behavior-Data-on-Taobao-App`
中文糖尿病标注数据集	中文糖尿病标注数据集	`/public/data/天池/ + 中文糖尿病标注数据集.zip`

Note

使用说明

公共数据集只存在于 1 区，如需其他区域或新的公共数据集资源，可以联系矩池云小助手

/dataset 主要存放大型公开数据集，需要完成网盘扩容后才可在租用机器目录中显示

公共目录只读，训练前建议复制到自己的工作目录、网盘目录或实验目录，避免程序写缓存时报错

Model

旧文档中的模型资源

下面两项来自旧文档的 TF Bert 模型部分，路径保留在 /public/data/nlp 下，按模型资源使用

bert_models

bert模型集合

/public/data/nlp/bert_models

chinese_bert_models

chinese_bert模型集合

/public/data/nlp/chinese_bert_models

还需要模型或存储？

如果要使用预训练模型、扩容网盘或管理实验文件，可以从相关入口继续配置

预训练模型网盘客户端联系小助手