CIFAR数据集解读

大家好，欢迎来到IT知识分享网。

CIFAR-10 数据集

CIFAR数据集由 Alex Krizhevsky，Vinod Nair 和 Geoffrey Hinton 收集整理自8000万张微型图像数据集，其中CIFAR数据集又根据所涉及的分类对象数量，可分为CIFAR-10和CIFAR-100。该数据集主要用于深度学习的图像分类，目前已被广泛应用。

CIFAR数据集官网：http://www.cs.toronto.edu/~kriz/cifar.html

基本介绍

如上图所示，CIFAR-10数据集包含了飞机、汽车、鸟等10个类别物体的32×32大小的彩色图片，每个类别有6000张图，计算可知，整个数据集一共有 6000×10=60000 张图。其中，automobiles （汽车）和 trucks（卡车）尽管都属于车类，但二者在分类时属于不同的类，不存在重叠。汽车主要包括轿车、越野车之类的车；而卡车则只包含大卡车，皮卡车这样的车则不属于上述任意类别。

数据集划分了训练集和测试集。训练集一共50000张图，每10000张作为一个批次（batch），每个批次包含了来自10个类别的1000张图片。训练集的批次是随机抽取的各个类中的图像，因此存在某一个类的图像数量多于另一个类的图像数量。测试集一共10000张图，也包含了随机从每个类中抽取的1000张图。

下载

CIFAR-10 数据集提供了供 python、matlab、c 读取的数据文件，具体如下:

数据解读

python和matlab版本

对于python和matlab版本，下载得到文件解压后，会得到如下结构的文件：

即已经分好了的五个batch数据以及一个测试batch数据。

这些文件中的每一个都是用 cPickle 生成的 Python“ pickle”对象。 下面是一个 python 2例程，它将打开这样一个文件并返回一个字典:

def unpickle(file):
    import cPickle
    with open(file, 'rb') as fo:
        dict = cPickle.load(fo)
    return dict

对于python 3 而言：

def unpickle(file):
    import pickle
    with open(file, 'rb') as fo:
        dict = pickle.load(fo, encoding='bytes')
    return dict

利用上面这种方式读取批数据后，将返回以下元素的字典：

• data

  这是一个10000×3072的numpy数组，数据格式为unit8。其中每一行存储了一张32×32的彩色图像。即对于3072个值，每1024个值（32×32=1024）为图片的一个通道数据，一共按顺序包含了红绿蓝三个通道。

• labels

  这是一个长度为10000的数字列表，数字的取值范围为0到9之间的整数，表示图片所对应的标签值。

此外，对于 batches.meta 文件，读取后将返回字典：

• label_names

  这是一个10元素的列表，用于根据标签值获取对应的标签名字，例如：

  label_names[0] == "airplane", 
  label_names[1] == "automobile
  

二进制版本

二进制版本的文件解压后，将得到 data_batch_1.bin, data_batch_2.bin, …, data_batch_5.bin,以及 test_batch.bin. 每个文件按照下面的格式生成：

<1 x label><3072 x pixel>
...
<1 x label><3072 x pixel>

换句话说，第一个字节是第一个图像的标签，它是一个范围为0-9的数字。 接下来的3072字节是图像的像素值。 前1024个字节是红色通道值，接下来的1024是绿色的，最后的1024是蓝色的。 这些值按照行大小顺序存储，因此前32个字节是图像第一行的红色通道值。

每个文件包含10000个这样的3073字节的“行”图像，尽管没有划分行。 因此，每个文件应该正好是30730000字节长。

还有一个名为 batches.meta.txt 的文件。 这是一个 ASCII 文件，它将0-9范围内的数字标签映射到有意义的类名。 它仅仅是10个类名的列表，每行一个。 行 i 上的类名对应于数字标签 i。

CIFAR-100 数据集

这个数据集就像 CIFAR-10，只不过它有100个类，每个类包含600张图像。 每个班级有500个训练图像和100个测试图像。 Cifar-100中的100个类被分成20个超类。 每个图像都带有一个“罚”标签(它所属的类)和一个“粗”标签(它所属的超类)。

与CIFAR-10类似，CIFAR-100包含了100个类别的物体，其中每个类别有600张图片。每个类取500张作为训练图像，100张作为测试图像。

在CIFAR-100 中，100各类别可以分类父类（Superclass）和子类（Classes）。一共有20个父类，其下又分子类。具体如下：

下载

数据解读

python和matlab版本

这里和CIFAR-10的类似，不多做解释。

二进制版本

CIFAR-100的二进制版本与 CIFAR-10的二进制版本相似，只是每个图像有两个标签字节(粗和细)和3072个像素字节，因此二进制文件看起来像这样:

<1 x coarse label><1 x fine label><3072 x pixel>
...
<1 x coarse label><1 x fine label><3072 x pixel>