Press "Enter" to skip to content

分布式机器学习常用数据集

今天开始跑分布式机器学习论文实验了,这里介绍一下论文的常用数据集(因为我的研究领域是分布式机器学习,所以下面列出的数据集可能偏向这方面
,做其他方向的童鞋参考下就好)。

 

1. CV数据集

 

(1)FEMINIST

 

任务:手写字符识别

 

参数说明: 62种不同的字符类别 (10种数字, 26种小写, 26种大写)的像素图片, 图片全为28乘28像素大小 (可以选择将其转为128×128), 样本数805263。

 

介绍: FEMNIST数据集全名Federated-MNIST, 属于专门给联邦学习用的基准数据集leaf的成员之一。

 

官网:https://leaf.cmu.edu/

 

引用方式:S Caldas, LEAF: A Benchmark for Federated Settings, 2018.

 

获取方式:采用脚本获取

 

wget https://s3.amazonaws.com/nist-srd/SD19/by_class.zip
wget https://s3.amazonaws.com/nist-srd/SD19/by_write.zip

 

(2)EMINIST

 

任务:手写字符识别

 

参数说明: 按照byclass方式split的话是62种不同的字符类别(各类别数量不均衡) (10种数字, 26种小写, 26种大写)的像素图片, 图片全为28乘28像素大小, 样本数814255。

 

介绍: EMNIST数据集全名extension of MNIST,是MINIST数据集的扩展版。

 

官网:https://www.nist.gov/itl/products-and-services/emnist-dataset

 

引用方式:Cohen G, EMNIST: an extension of MNIST to handwritten letters, 2017

 

获取方式:可以采用脚本获取

 

wget https://www.itl.nist.gov/iaui/vip/cs_links/EMNIST/gzip.zip

 

也可以直接从torchvision中开箱即用

 

from torchvision.datasets import EMNIST
from torchvision.transforms import Compose, ToTensor, Normalize
RAW_DATA_PATH = './rawdata'
transform = Compose(
        [ToTensor(),
         Normalize((0.1307,), (0.3081,))
         ]
    )
dataset = EMNIST(
        root=RAW_DATA_PATH,
        split="byclass",
        download=True,
        train=True,
        transform=transform
    )

 

(3)CIFAR10

 

任务:图像分类

 

参数说明: 10种32×32的彩色图片(包括人、动物、花、昆虫等), 每种类别都有6000张图片. 50000张训练图片10000张测试图片.

 

介绍: CIFAR-10 是所谓的8千万张微型图片数据集的有标签子集。

 

官网:https://www.cs.toronto.edu/~kriz/cifar.html

 

引用方式:Alex Krizhevsky, Learning Multiple Layers of Features from Tiny Images, 2009.

 

获取方式:

 

直接从torchvision中开箱即用

 

from torchvision.datasets import CIFAR10
from torchvision.transforms import Compose, ToTensor, Normalize
RAW_DATA_PATH = './rawdata'
transform = Compose([
    ToTensor(),
    Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])
dataset = CIFAR10(
        root=RAW_DATA_PATH,
        download=True,
        train=True,
        transform=transform
    )

 

(3)CIFAR100

 

任务:图像分类

 

参数说明: 100种32×32的彩色图片(包括人、动物、花、昆虫等), 每种类别都有600张图片. 500张训练图片100张测试图片.

 

介绍: CIFAR-10的兄弟,也是所谓的8千万张微型图片数据集的有标签子集。

 

官网:https://www.cs.toronto.edu/~kriz/cifar.html

 

引用方式:Alex Krizhevsky, Learning Multiple Layers of Features from Tiny Images, 2009.

 

获取方式:

 

直接从torchvision中开箱即用

 

from torchvision.datasets import CIFAR100
from torchvision.transforms import Compose, ToTensor, Normalize
RAW_DATA_PATH = './rawdata'
transform = Compose([
    ToTensor(),
    Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])
dataset = CIFAR100(
        root=RAW_DATA_PATH,
        download=True,
        train=True,
        transform=transform
    )

 

2. NLP数据集

 

(1)Shakespeare

 

任务:下一个字符预测

 

参数说明:总共4,226,15条样本

 

介绍: 和FEMNST一样,属于专门给联邦学习用的基准数据集leaf的成员之一。

 

官网:https://leaf.cmu.edu/

 

引用方式:LEAF: A Benchmark for Federated Settings

 

获取方式:

 

用脚本获取

 

wget http://www.gutenberg.org/files/100/old/1994-01-100.zip

 

3.普通回归/分类

 

(1)Synthetic

 

任务:二分类

 

参数说明:用户能够自定义分布式节点数量, 类别数量以及维度

 

介绍: 这个数据集提供了一个生成人工的、但是有挑战性的联邦学习数据集方法, 我们要求的目标是分布式节点上的模型能够尽量有独立性。论文中详细地给出了数据集的生成过程。和FEMNST一样,属于专门给联邦学习用的基准数据集leaf的成员之一。

 

官网:https://leaf.cmu.edu/

 

引用方式:LEAF: A Benchmark for Federated Settings

 

获取方式:

 

需按照下列python代码对数据集进行人工生成

 

from scipy.special import softmax
NUM_DIM = 10
class SyntheticDataset:
    def __init__(
            self,
            num_classes=2,
            seed=931231,
            num_dim=NUM_DIM,
            prob_clusters=[0.5, 0.5]):
        np.random.seed(seed)
        self.num_classes = num_classes
        self.num_dim = num_dim
        self.num_clusters = len(prob_clusters)
        self.prob_clusters = prob_clusters
        self.side_info_dim = self.num_clusters
        self.Q = np.random.normal(
            loc=0.0, scale=1.0, size=(self.num_dim + 1, self.num_classes, self.side_info_dim))
        self.Sigma = np.zeros((self.num_dim, self.num_dim))
        for i in range(self.num_dim):
            self.Sigma[i, i] = (i + 1)**(-1.2)
        self.means = self._generate_clusters()
    def get_task(self, num_samples):
        cluster_idx = np.random.choice(
            range(self.num_clusters), size=None, replace=True, p=self.prob_clusters)
        new_task = self._generate_task(self.means[cluster_idx], cluster_idx, num_samples)
        return new_task
    def _generate_clusters(self):
        means = []
        for i in range(self.num_clusters):
            loc = np.random.normal(loc=0, scale=1., size=None)
            mu = np.random.normal(loc=loc, scale=1., size=self.side_info_dim)
            means.append(mu)
        return means
    def _generate_x(self, num_samples):
        B = np.random.normal(loc=0.0, scale=1.0, size=None)
        loc = np.random.normal(loc=B, scale=1.0, size=self.num_dim)
        samples = np.ones((num_samples, self.num_dim + 1))
        samples[:, 1:] = np.random.multivariate_normal(
            mean=loc, cov=self.Sigma, size=num_samples)
        return samples
    def _generate_y(self, x, cluster_mean):
        model_info = np.random.normal(loc=cluster_mean, scale=0.1, size=cluster_mean.shape)
        w = np.matmul(self.Q, model_info)
        
        num_samples = x.shape[0]
        prob = softmax(np.matmul(x, w) + np.random.normal(loc=0., scale=0.1, size=(num_samples, self.num_classes)), axis=1)
                
        y = np.argmax(prob, axis=1)
        return y, w, model_info
    def _generate_task(self, cluster_mean, cluster_id, num_samples):
        x = self._generate_x(num_samples)
        y, w, model_info = self._generate_y(x, cluster_mean)
        # now that we have y, we can remove the bias coeff
        x = x[:, 1:]
        return {'x': x, 'y': y, 'w': w, 'model_info': model_info, 'cluster': cluster_id}

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注