坑暗花明:又遇 .NET Core 中 System.Data.SqlClient 查询缓慢的问题

栏目: ASP.NET · 发布时间: 4年前

内容简介:之前发布过一篇博文这两天我们又在另外一个 ASP.NET Core 2.2 项目中也遇到了查询 100 数据库记录速度慢(需要4~6秒)的问题,而且所查询的数据库表数据量并不是很大。通过 EF Core 的 日志记录发现耗时发生在 Executed DbCommand 时,耗时发生点与之前的情况不一样,之前是发生在 Executed DbCommand 之后 SqlDataReader 从数据库读取数据时。而通过 SQL Server Management Studio 执行同样的 SQL 语句只需要 20

之前发布过一篇博文 下单快发货慢:一个 JOIN SQL 引起 SqlClient 读取数据慢的奇特问题 ,当时遇到的问题是从 SQL Server 2008 R2 中查询获取 100 条记录竟然耗时 10 多秒,排查中发现问题与 SQL  查询中包含 INNER JOIN 有关,去掉 INNER JOIN 立马查询飞快。当时天真地以为原因是 JOIN 的那张表数据记录太多以及主表聚集索引不合理,于是采用将 INNER JOIN 部分拆分出来单独查询临时解决了问题。

这两天我们又在另外一个 ASP.NET Core 2.2 项目中也遇到了查询 100 数据库记录速度慢(需要4~6秒)的问题,而且所查询的数据库表数据量并不是很大。通过 EF Core 的 日志记录发现耗时发生在 Executed DbCommand 时,耗时发生点与之前的情况不一样,之前是发生在 Executed DbCommand 之后 SqlDataReader 从数据库读取数据时。

2019-05-11T14:21:38.1015229+08:00 [INFORMATION] Executed DbCommand ("5,850"ms)

而通过 SQL Server Management Studio 执行同样的 SQL 语句只需要 20 毫秒左右,相差200多倍。

Executed DbCommand 日志记录的是 dbCommand.ExecuteReaderAsync 执行的时间(详见 EF Core 的 源码

result = new RelationalDataReader(
    connection,
    dbCommand,
    await dbCommand.ExecuteReaderAsync(cancellationToken),
    commandId,
    Logger);

dbCommand.ExecuteReaderAsync 的实现代码在 corefx 的 System.Data.SqlClient 中,如果是 .net core 的问题,那问题就出在 System.Data.SqlClient 。

在上次排查 SqlDataReader 读取数据速度慢问题,就曾怀疑 System.Data.SqlClient ,花了很多时间在 System.Data.SqlClient 的源码中打点排查,最终没有找到线索,这次不敢轻易怀疑它。

虽然这次的耗时发生点与上次不一样,但这次的 SQL 查询语句中有个地方和上次是一样的,也包含 INNER JOIN 查询,于是试着去掉 INNER JOIN ,Executed DbCommand 只需2毫秒。

[INFORMATION] Executed DbCommand ("2"ms)

啊,怎么也与 INNER JOIN 有关,没道理啊,这次 JOIN 的表数据量不大,完全不可能造成 200 多倍的性能之差。看来上次归罪于 INNER JOIN ,可能是冤枉它了,得重新思考与排查这个问题。

由于问题是在某个时间点之后出现,于是采取笨方法,回退 git 提交历史直至问题消失。。。

最终发现,竟然是在一次 git commit 中给这个查询在 SELECT 时增加了1个字段引起的, 去掉这个字段,问题立马消失。进一步测试发现,只要任意去掉 SELECT 中的1个字段,就不会出现问题,太奇怪了。数了数 SELECT 中有20个字段,难道与 SELECT 字段的数量有关?之前的项目会不会也与 SELECT 字段的数量有关?

于是回到之前的项目,恢复 INNER JOIN 查询,这时惊讶地发现 SqlDataReader 读取数据速度慢的问题竟然消失了。回想当时处理问题后到现在所做的变更,唯一的变更就是从 .NET Core 3.0 Preivew 4 升级到 .NET Core 3.0 Preivew 5 ,难道 3.0 Preivew 5 把这个问题给修复了?难道真的是 System.Data.SqlClient 的 bug ?

答案很容易验证,将当前遇到 Executed DbCommand 执行慢的项目升级到 .NET Core 3.0 Preivew 5 ,昨天晚上完成升级后

Executed DbCommand ("3"ms)

飞流直下三千尺,从4秒骤降到3毫秒,相差1000多倍!果然是 System.Data.SqlClient 的一个大 bug ,一个潜藏很久(至少从 .NET Core 2.1 到 3.0 Preview 4)的巨坑。

这个诡异问题的谜底在偶然间终于被解开了,这时又产生了新的疑问 —— corefx 中是如何修复这个巨坑 bug 的?

查看 corefx 中与 System.Data.SqlClient 相关的 git commits ,目测发现下面的 commit (对应的 PR ),也许是这个 commit 修复的,接下来找时间验证一下。

坑暗花明:又遇 .NET Core 中 System.Data.SqlClient 查询缓慢的问题


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Docker开发指南

Docker开发指南

[英] Adrian Mouat / 黄彦邦 / 人民邮电出版社 / 2017-4 / 79.00元

Docker容器轻量和可移植的特性尤其适用于动态和分布式的环境,它的兴起给软件开发流程带来了一场革命。本书对Docker进行了全面讲解,包括开发、生产以至维护的整个软件生命周期,并对其中可能出现的一些问题进行了探讨,如软件版本差异、开发环境与生产环境的差异、系统安全问题,等等。一起来看看 《Docker开发指南》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具