内容简介：本文首发于微信公众号："算法与编程之美"，欢迎关注，及时了解更多此系列文章。keras的fashion-mnist数据集的源码为：
欢迎点击「算法与编程之美」↑关注我们！
本文首发于微信公众号："算法与编程之美"，欢迎关注，及时了解更多此系列文章。
keras的fashion-mnist数据集的源码为：
def load_data():
"""Loads the Fashion-MNIST dataset.
# Returns
Tuple of Numpy arrays: `(x_train, y_train), (x_test, y_test)`.
"""
dirname = os.path.join('datasets', 'fashion-mnist')
base = 'http://fashion-mnist.s3-website.eu-central-1.amazonaws.com/'
files = ['train-labels-idx1-ubyte.gz', 'train-images-idx3-ubyte.gz',
't10k-labels-idx1-ubyte.gz', 't10k-images-idx3-ubyte.gz']
paths = []
for fname in files:
paths.append(get_file(fname,
origin=base + fname,
cache_subdir=dirname))
with gzip.open(paths[0], 'rb') as lbpath:
y_train = np.frombuffer(lbpath.read(), np.uint8, offset=8)
with gzip.open(paths[1], 'rb') as imgpath:
x_train = np.frombuffer(imgpath.read(), np.uint8,
offset=16).reshape(len(y_train), 28, 28)
with gzip.open(paths[2], 'rb') as lbpath:
y_test = np.frombuffer(lbpath.read(), np.uint8, offset=8)
with gzip.open(paths[3], 'rb') as imgpath:
x_test = np.frombuffer(imgpath.read(), np.uint8,
offset=16).reshape(len(y_test), 28, 28)
return (x_train, y_train), (x_test, y_test)
fashion-mnist数据集以四个gzip格式的方式存储在远程服务器上，利用keras的get_file()下载到本地的keras缓存目录。
然后利用gzip的open()打开文件，利用numpy的frombuffer方法直接加载numpy的数组。如果是图像数据的话，需要进行reshape操作。
此处，为什么加载图片数据的时候需要offset=16，标签数据的时候需要offset=8？
fashion-mnist图像数据集的预处理方式和mnist有很大的不同，四个gz文件分别存放了x_train, y_train, x_test, y_test四个部分，然后分别读取四个文件利用np.frombuffer()方式加载。这种处理方式相对mnist来说复杂一些。 为什么会这样处理？
欢迎持续关注。
温馨提示： 点击页面右下角 “写留言”发表评论，期待您的参与！期待您的转发！
以上所述就是小编给大家介绍的《深度学习实战 fashion-mnist数据集预处理技术分析》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
数据结构 Python语言描述
[美] Kenneth A. Lambert 兰伯特 / 李军 / 人民邮电出版社 / 2017-12-1 / CNY 69.00
在计算机科学中，数据结构是一门进阶性课程，概念抽象，难度较大。Python语言的语法简单，交互性强。用Python来讲解数据结构等主题，比C语言等实现起来更为容易，更为清晰。 《数据结构 Python语言描述》第1章简单介绍了Python语言的基础知识和特性。第2章到第4章对抽象数据类型、数据结构、复杂度分析、数组和线性链表结构进行了详细介绍，第5章和第6章重点介绍了面向对象设计的相关知识、......一起来看看 《数据结构 Python语言描述》 这本书的介绍吧!
