异常-hsql 小文件过多

1.背景：

hive  做 insert overwrite select * from table 操作

出现异常：

[Fatal Error] total number of created files now is 100028, which exceeds 100000. Killing the job.

2.实际默认限制：

hive> set hive.exec.max.created.files;

hive.exec.max.created.files=100000

3.解决方案：

加上： DISTRIBUTE BY  

其他问题：因为会多一次shuffer 速度变慢，还可能分区不均匀导致问题

参考：

https://confusedcoders.com/data-engineering/etl/hive/hive-dynamix-partition-error-fatal-error-total-number-of-created-files-now-is-100000-which-exceeds-100000-killing-the-job

https://sungang-1120.iteye.com/blog/2262234