内容简介:今天在用golang做数据处理的时候出现了点问题,场景是这样的。服务端定时去请求远端服务器拉取每日数据,数据量不是很大,在百万级左右。拉取到的数据再经过简单数据校验和处理之后存入数据库。结果在执行这段代码的时候占用了将近3个G的内存。
今天在用golang做数据处理的时候出现了点问题,场景是这样的。
服务端定时去请求远端服务器拉取每日数据,数据量不是很大,在百万级左右。
拉取到的数据再经过简单数据校验和处理之后存入数据库。结果在执行这段代码的时候占用了将近3个G的内存。
在优化代码的时候发现了一个问题就是golang在处理大量string类型的时候并没有Interning,而在操作DB时又经常性的出现重复数据,导致内存没必要的浪费。
string interning(字符串驻留)的概念其实在 java 里会有接触,可以理解为一个常量池,在新建string的时候会查找有没有相同的unicode,有就把指针指过去。wiki原文中也写到了,在java中interning是一个默认的模式。
for example [String.intern()]
in Java. All compile-time constant strings in Java are automatically interned using this method. -- https://en.wikipedia.org/wiki/String_interning
这两天我研究一下这个包,把优化结果及string包的源码分析整理一下
https://godoc.org/github.com/chriso/go-intern
https://en.wikipedia.org/wiki/String_interning以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
运营其实很简单:互联网运营进阶之道
郑文博 / 人民邮电出版社 / 2018-2 / 49.80元
为了帮助从事运营或即将从事运营的广大读者更好、更快地了解运营、学习运营、入职运营,本书详细阐述运营对于用户、企业的帮助,同时以单个理论点 单个实战案例的方式详细分析了社群运营、活动运营、新媒体运营、内容运营、渠道运营、精细化运营、场景化运营、用户化运营、商业化运营等模块及运营工作、渠道整合、社群知识、渠道优化、SOP流程等细节,力求让读者在求职路上快速上手,在迷茫途中快速定位。 《运营其实很简单 ......一起来看看 《运营其实很简单:互联网运营进阶之道》 这本书的介绍吧!