Python的pickle以及其他的序列化

栏目: Python · 发布时间: 7年前

内容简介:之前在论坛上看到说这篇文章就是对这些进行简单的摸底,做到心中有数,从这么看来说,之前写的部分代码坑不小……一、python的字典内存占用以及pickle输出大小

之前在论坛上看到说 Python 内存占用的问题,有个回复说 不少人还认为pickle是直接将内存中的数据到处到文件里了 ,很羞愧,看到这句话之前,我也是这么认为的……

这篇文章就是对这些进行简单的摸底,做到心中有数,从这么看来说,之前写的部分代码坑不小……

一、 python 的字典内存占用以及pickle输出大小

import sys
import pickle
result = {}

for i in range(1000000):
    result[str(i).encode('utf-8')] = str(i).encode('utf-8')

print(sys.getsizeof(result))
with open('test.pk', 'wb') as f:
    pickle.dump(result, f)

在我本机 windows10 python 3.7 ,内存中:41943144,导出后的pickle文件大小为25778963

内存多了62%

这是 str:str

int:int 41943144: 9739352,大概膨胀了4倍多

key范围扩大到 40000000后,内存占用为2525MB

二、golang内存占用

1-n的key范围 内存

1000000 81MB

2000000 162MB

3000000 168MB

4000000 320MB

5000000 330MB

10000000 650MB

20000000 1281MB

40000000 2540MB

map 中,平均每增加一个 int:int key,内存增加66 byte

int 更换为 int32 int32 再尝试

40000000 1417MB 降低还是很明显

代码如下

package main

import (
	"fmt"
	"unsafe"
)

func int2int() map[int32]int32 {
	var res = make(map[int32]int32)
	var i int32
	for i = 0; i < 40000000; i++ {
		res[i] = i
	}
	return res
}

func main() {
	i2i := int2int()
	var aa int32
	fmt.Println(unsafe.Sizeof(aa))
	fmt.Println(len(i2i))
	fmt.Scanln()
}

小结

这只是简单的对比,没有说哪个优秀之类的,并且这个对比如果硬要对比的话肯定有不少地方不公平,但是单单对 map int:int 这种类型来说, pythongolang 的内存占用差距比我想象中的要小

todo

go 中类似 pythonpickle 的是 encoding/gob ?有空补上对比


以上所述就是小编给大家介绍的《Python的pickle以及其他的序列化》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

互联网思维独孤九剑

互联网思维独孤九剑

赵大伟 / 机械工业出版社 / 2014-3-20 / 49

《互联网思维独孤九剑》是国内第一部系统阐述互联网思维的著作,用9大互联网思维:用户思维、简约思维、极致思维、迭代思维、流量思维、社会化思维、大数据思维、平台思维、跨界思维,以专业的视角全方位解读移动互联网给传统产业带来的变革,涉及战略规划、商业模式设计、品牌建设、产品研发、营销推广、组织转型、文化变革等企业经营价值链条的各个方面。这是一部传统企业互联网转型必读的“孙子兵法”,帮助我们开启对新商业文......一起来看看 《互联网思维独孤九剑》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具