Python数据存储之 h5py详解

脚本专栏 2024/10/3 佚名

2 0 1

神剑山庄资源网 Design By www.hcban.com

1、Python数据存储（压缩）

（1）numpy.save , numpy.savez , scipy.io.savemat

numpy和scipy内建的数据存储方式。

（2）cPickle + gzip

cPickle是pickle内建的数据存储方式，gzip是常用的文件压缩模块。

（3）h5py

h5py是对HDF5文件格式进行读写的python包，关于h5py更多介绍与安装，参考官方网站

关于HDF5，参考官方网站。：

一个HDF5文件就是一个由两种基本数据对象（groups and datasets）存放多种科学数据的容器：

HDF5 dataset: 数据元素的一个多维数组以及支持元数据（metadata）； HDF5 group: 包含0个或多个HDF5对象以及支持元数据（metadata）的一个群组结构；

总之，dataset是类似于数组的数据集，而group是类似文件夹一样的容器，存放dataset和其他group；group和dataset在h5py中的使用有点类似于词典和Numpy中数组的用法。

h5py的优势：速度快、压缩效率高，总之，numpy.savez和cPickle存储work或不work的都可以试一试h5py！

2、h5py读取和存储数据示例

import h5py
X= np.random.rand(100, 1000, 1000).astype('float32')
y = np.random.rand(1, 1000, 1000).astype('float32')

# Create a new file
f = h5py.File('data.h5', 'w')
f.create_dataset('X_train', data=X)
f.create_dataset('y_train', data=y)
f.close()

# Load hdf5 dataset
f = h5py.File('data.h5', 'r')
X = f['X_train']
Y = f['y_train']
f.close()

详细使用方法，参考官网。

以上这篇Python数据存储之 h5py详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

Python,数据存储,h5py

标签：

Python,数据存储,h5py

神剑山庄资源网 Design By www.hcban.com

神剑山庄资源网 免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

神剑山庄资源网 Design By www.hcban.com

评论“Python数据存储之 h5py详解”

暂无Python数据存储之 h5py详解的评论...

P70系列延期，华为新旗舰将在下月发布

3月20日消息，近期博主@数码闲聊站透露，原定三月份发布的华为新旗舰P70系列延期发布，预计4月份上市。

而博主@定焦数码爆料，华为的P70系列在定位上已经超过了Mate60，成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢？
根据目前爆料的消息来看，华为P70系列将推出三个版本，其中P70和P70 Pro采用了三角形的摄像头模组设计，而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智，但辨识度绝对拉满。

更新日志

2024年10月03日

Python数据存储之 h5py详解

Python,数据存储,h5py

python实现大战外星人小游戏实例代码

Python 使用 prettytable 库打印表格美化输出功能

评论“Python数据存储之 h5py详解”

P70系列延期，华为新旗舰将在下月发布

更新日志

友情链接