漫谈数据治理之一：计算与存储压力
漫谈数据治理之一：计算与存储压力
背景概要
主要痛点
只建表，不删表：绝大多数做数据工作的同学，都没有及时清理无用表的习惯。 交接过程产生漏洞：由于业务的问题比较繁琐，理解起来有一定难度，因此在离职交接时通常不会交接的很好，埋下了坑。 日常研发过程无规范：很多中小公司，数据作为支持部门存在，解决需求就可以，没有长远的规划，时间久了看不懂的东西越来越多。 野蛮开发，无序增长：业务高速发展时，大家以需求为第一目标，开发过程没有考虑计算与存储问题，频繁发生数据倾斜、全表扫描等场景，或者是数据存储周期设置不合理。
谈一谈基本的治理思路
创建的临时表：以tmp/test开头的表； 无访问信息表：例如最近一个月没有访问信息； 无下游依赖表：下游没有使用方的表； 无更新时间表：表结构长期没有更新信息。
运行时间过长的节点； 存储空间过大的表。这一类的治理行为通常花费时间很长，但产生的效果会非常明显。