SQL Server数据库的查询优化
作者:网络转载 发布时间:[ 2016/4/15 15:44:33 ] 推荐标签:数据库 SQL Server
建立一个web 应用,分页浏览功能必不可少。这个问题是数据库处理中十分常见的问题。经典的数据分页方法是:ADO 纪录集分页法,也是利用ADO自带的分页功能(利用游标)来实现分页。但这种分页方法仅适用于较小数据量的情形,因为游标本身有缺点:游标是存放在内存 中,很费内存。游标一建立,将相关的记录锁住,直到取消游标。游标提供了对特定集合中逐行扫描的手段,一般使用游标来逐行遍历数据,根据取出数据条件的 不同进行不同的操作。而对于多表和大表中定义的游标(大的数据集合)循环很容易使程序进入一个漫长的等待甚至死机。
更重要的是,对于非常大的数据模型而言,分页检索时,如果按照传统的每次都加载整个数据源的方法是非常浪费资源的。现在流行的分页方法一般是检索页面大小的块区的数据,而非检索所有的数据,然后单步执行当前行。
早较好地实现这种根据页面大小和页码来提取数据的方法大概是“俄罗斯存储过程”。这个存储过程用了游标,由于游标的局限性,所以这个方法并没有得到大家的普遍认可。
后来,网上有人改造了此存储过程,下面的存储过程是结合我们的办公自动化实例写的分页存储过程:
1 CREATE procedure pagination1
2
3 (@pagesize int, --页面大小,如每页存储20条记录
4
5 @pageindex int --当前页码
6
7 )
8
9 as
10
11 set nocount on
12
13 begin
14
15 declare @indextable table(id int identity(1,1),nid int) --定义表变量
16
17 declare @PageLowerBound int --定义此页的底码
18
19 declare @PageUpperBound int --定义此页的顶码
20
21 set @PageLowerBound=(@pageindex-1)*@pagesize
22
23 set @PageUpperBound=@PageLowerBound+@pagesize
24
25 set rowcount @PageUpperBound
26
27 insert into @indextable(nid) select gid from TGongwen where fariqi >dateadd(day,-365,getdate()) order by fariqi desc
28
29 select O.gid,O.mid,O.title,O.fadanwei,O.fariqi from TGongwen O,@indextable t where O.gid=t.nid
30
31 and t.id>@PageLowerBound and t.id<=@PageUpperBound order by t.id
32
33 end
34
35 set nocount off
以上存储过程运用了SQL SERVER的表变量。应该说这个存储过程也是一个非常的分页存储过程。当然,在这个过程中,您也可以把其中的表变量写成临时 表:CREATE TABLE #Temp。但很明显,在SQL SERVER中,用临时表是没有用表变量快的。所以笔者刚开始使用这个存储过程时,感觉非常的不错,速度也比原来的ADO的好。但后来,我又发现了比此方 法更好的方法。
笔者曾在网上看到了一篇小短文《从数据表中取出第n条到第m条的记录的方法》,全文如下:
从publish 表中取出第 n 条到第 m 条的记录:
1 SELECT TOP m-n+1 *
2 FROM publish
3 WHERE (id NOT IN
4 (SELECT TOP n-1 id
5 FROM publish))
id 为publish 表的关键字
我当时看到这篇文章的时候,真的是精神为之一振,觉得思路非常得好。等到后来,我在作办公自动化系统(ASP.NET+ C#+SQL SERVER)的时候,忽然想起了这篇文章,我想如果把这个语句改造一下,这可能是一个非常好的分页存储过程。于是我满网上找这篇文章,没想到,文章 还没找到,却找到了一篇根据此语句写的一个分页存储过程,这个存储过程也是目前较为流行的一种分页存储过程,我很后悔没有争先把这段文字改造成存储过程:
1 CREATE PROCEDURE pagination2
2 (
3 @SQL nVARCHAR(4000), --不带排序语句的SQL语句
4 @Page int, --页码
5 @RecsPerPage int, --每页容纳的记录数
6 @ID VARCHAR(255), --需要排序的不重复的ID号
7 @Sort VARCHAR(255) --排序字段及规则
8 )
9 AS
10
11 DECLARE @Str nVARCHAR(4000)
12
13 SET @Str='SELECT TOP '+CAST(@RecsPerPage AS VARCHAR(20))+' * FROM ('+@SQL+') T WHERE T.'+@ID+'NOT IN
14 (SELECT TOP '+CAST((@RecsPerPage*(@Page-1)) AS VARCHAR(20))+' '+@ID+' FROM ('+@SQL+') T9 ORDER BY '+@Sort+') ORDER BY '+@Sort
15
16 PRINT @Str
17
18 EXEC sp_ExecuteSql @Str
19 GO
其实,以上语句可以简化为:
1 SELECT TOP 页大小 *
2
3 FROM Table1
4
5 WHERE (ID NOT IN
6
7 (SELECT TOP 页大小*页数 id
8
9 FROM 表
10
11 ORDER BY id))
12
13 ORDER BY ID
但这个存储过程有一个致命的缺点,是它含有NOT IN字样。虽然我可以把它改造为:
1 SELECT TOP 页大小 *
2
3 FROM Table1
4
5 WHERE not exists
6
7 (select * from (select top (页大小*页数) * from table1 order by id) b where b.id=a.id )
8
9 order by id
即,用not exists来代替not in,但我们前面已经谈过了,二者的执行效率实际上是没有区别的。
既便如此,用TOP 结合NOT IN的这个方法还是比用游标要来得快一些。
虽然用not exists并不能挽救上个存储过程的效率,但使用SQL SERVER中的TOP关键字却是一个非常明智的选择。因为分页优化的终目的是避免产生过大的记录集,而我们在前面也已经提到了TOP的优势,通过TOP 即可实现对数据量的控制。
在分页算法中,影响我们查询速度的关键因素有两点:TOP和NOT IN。TOP可以提高我们的查询速度,而NOT IN会减慢我们的查询速度,所以要提高我们整个分页算法的速度,要彻底改造NOT IN,同其他方法来替代它。
我们知道,几乎任何字段,我们都可以通过max(字段)或min(字段)来提取某个字段中的大或小值,所以如果这个字段不重复,那么可以 利用这些不重复的字段的max或min作为分水岭,使其成为分页算法中分开每页的参照物。在这里,我们可以用操作符“>”或“<”号来完成这 个使命,使查询语句符合SARG形式。如:
Select top 10 * from table1 where id>200
于是有了如下分页方案:
1 select top 页大小 *
2
3 from table1
4
5 where id>
6
7 (select max (id) from
8
9 (select top ((页码-1)*页大小) id from table1 order by id) as T
10
11 )
12
13 order by id
相关推荐
更新发布
功能测试和接口测试的区别
2023/3/23 14:23:39如何写好测试用例文档
2023/3/22 16:17:39常用的选择回归测试的方式有哪些?
2022/6/14 16:14:27测试流程中需要重点把关几个过程?
2021/10/18 15:37:44性能测试的七种方法
2021/9/17 15:19:29全链路压测优化思路
2021/9/14 15:42:25性能测试流程浅谈
2021/5/28 17:25:47常见的APP性能测试指标
2021/5/8 17:01:11