admin 管理员组

文章数量: 887021


2024年3月1日发(作者:sql做报表开发最常用的方法)

SQL

Server 查询优化方法

查询速度慢的原因很多,常见如下几种

1、没有索引或者没有用到索引

(这是查询慢最常见的问题,是程序设计的缺陷

)

2、I/O 吞吐量小,形成了瓶颈效应。

3、没有创建计算列导致查询不优化。

4、内存不足

5、网络速度慢

6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量)

7、锁或者死锁 (这也是查询慢最常见的问题,是程序设计的缺陷

8、sp_lock,sp_who, 活动的用户查看

,原因是读写竞争资源。

9、返回了不必要的行和列

10、查询语句不好,没有优化

可以通过如下方法来优化查询

1、把数据、日志、索引放到不同的

)

I/O

设备上,增加读取速度, 以前可以将

(sp_spaceuse)

上,SQL2000

Tempdb 应放在

RAID0

不在支持。数据量(尺寸)越大,提高

I/O

越重要 .

2、纵向、横向分割表,减少表的尺寸

3、升级硬件

4、根据查询条件 ,建立索引 ,优化索引、优化访问方式,限制结果集的数据量。注意填充因子要适当(最好

是使用默认值 0)。索引应该尽量小,使用字节数小的列建索引好(参照索引的创建) ,不要对有限的几个值的字段建单一索引如性别字段

5、提高网速 ;

6、扩大服务器的内存 ,Windows

2000 和 SQL

server

拟内存大小应基于计算机上并发运行的服务进行配置。运行

虚拟内存大小设置为计算机中安装的物理内存的

2000

能支持

4-8G 的内存。配置虚拟内存:虚

时,可考虑将

Microsoft

SQL

Server?

2000

1.5

server

memory

倍。如果另外安装了全文检索功能,并打算运行

Microsoft

搜索服务以便执行全文索引和查询,可考虑:将虚拟内存大小配置为至少是计算机中安装的物理内存

倍。将

SQL Server

max

服务器配置选项配置为物理内存的

1.5

倍(虚

3

拟内存大小设置的一半) 。

7、增加服务器 CPU 个数 ;但是必须明白并行处理串行处理更需要资源例如内存。使用并行还是串行程是

SERVER根据系统的负载情况决定最优的并行等级,

UPDATE,INSERT还不能并行处理。

, DELETE

MsSQL 自动评估选择的。单个任务分解成多个任务,就可以在处理器上运行。例如耽搁查询的排序、连接、扫描和

GROUP BY字句同时执行, SQL

复杂的需要消耗大量的

CPU

的查询最适合并行处理。但是更新操作

8、如果是使用

用索引

like

9、DB

'%a'

like 进行查询的话, 简单的使用

index

是不行的,但是全文索引, 耗空间。

like

'%a%'

不使用索引用

查询时,查询耗时和字段值总长度成正比

和 APPLication

Server

分离; OLTP和 OLAP 分离

like

使

, 所以不能用

'a%'

CHAR类型,而是

VARCHAR。对于字段的值很长的建全文索引。

Server

10、分布式分区视图可用于实现数据库服务器联合体。联合体是一组分开管理的服务器,但它们相互协作

分担系统的处理负荷。这种通过分区数据形成数据库服务器联合体的机制能够扩大一组服务器,以支持大型的多层

Web

站点的处理需要。有关更多信息,参见设计联合数据库服务器。

(参照

SQL帮助文件

'分区视图

')

a、在实现分区视图之前,必须先水平分区表

b、在创建成员表后,在每个成员服务器上定义一个分布式分区视图,并且每个视图具有相同的名称。这

样,引用分布式分区视图名的查询可以在任何一个成员服务器上运行。系统操作如同每个成员服务器上都有一个原始表的复本一样,但其实每个服务器上只有一个成员表和一个分布式分区视图。数据的位置对应用程序是透明的。

11、重建索引

DBCC

REINDEX ,DBCC INDEXDEFRAG,收缩数据和日志 DBCC .对于大的数据库不要设置数据库自动增长,它会降低服务器的性能。

SHRINKDB,DBCC

SHRINKFILE.

设置自动收缩日志

在 T-sql

的写法上有很大的讲究,下面列出常见的要点:首先,

DBMS 处理查询计划的过程是这样的:

1、

2、

3、

4、

5、

6、

查询语句的词法、语法检查

将语句提交给

DBMS 的查询优化器

优化器做代数优化和存取路径的优化

由预编译模块生成查询规划

然后在合适的时间提交给系统处理执行

最后将执行结果返回给用户其次,看一下

B 树存放。

SQL

SERVER的数据存放的结构:一个页面的大小为

8K(8060)字节, 8 个页面为一个盘区,按照

12、Commit 和 rollback 的区别

Rollback:回滚所有的事物。

begin

tran

态 SQL里写事物, 如果要写请写在外面如:

成函数或者存储过程。

Commit: 提交当前的事物 .

没有必要在动

commit

trans

或者将动态

SQL

exec(@s)

13、在查询 Select 语句中用 Where 字句限制返回的行数 ,避免表扫描 ,如果返回不必要的数据,浪费了服务

,后果

器的 I/O

资源,加重了网络的负担降低性能。如果表很大,在表扫描的期间将表锁住,禁止其他的联接访问表

严重。

14、SQL的注释申明对执行没有任何影响

15、尽可能不使用光标,它占用大量的资源。如果需要

必须按照从第一行到最后一行的顺序提取行。

可以在游标中任何地方随机提取任意行。

有四个并发选项

row-by-row

地执行,尽量采用非光标技术

是唯一允许的提取操作

,如:在

客户端循环, 用临时表, Table 变量,用子查询,用 Case语句等等。游标可以按照它所支持的提取选项进行分类:

动性

FETCH NEXT

,也是默认方式。可滚

游标的技术在

SQL2000下变得功能很强大,他的目的是支持循环。

READ_ONLY:不允许通过游标定位更新

(Update) ,且在组成结果集的行中没有锁。

OPTIMISTIC WITH

valueS:乐观并发控制是事务控制理论的一个标准部分。乐观并发控制用于这样的情

形,即在打开游标及更新行的间隔中,只有很小的机会让第二个用户更新某一行。当某个游标以此选项打开时,没有锁控制其中的行,这将有助于最大化其处理能力。如果用户试图修改某一行,则此行的当前值会与最后一次提取此行时获取的值进行比较。如果任何值发生改变,则服务器就会知道其他人已更新了此行,并会返回一个错误。如

果值是一样的,服务器就执行修改。 选择这个并发选项 OPTIMISTIC WITH ROW VERSIONING:此乐观并发控制选项基于行版本控制。使用行版本控制,其中的表必须具有某种版本标识符,服务器可用它来确定该行在读

入游标后是否有所更改。

SQL Server

中,这个性能由

timestamp

数据类型提供,它是一个二进制数字,表示数据库

中更改的相对顺序。 每个数据库都有一个全局当前时间戳值:

的行时, SQL

个表具有

Server

先在时间戳列中存储当前的

timestamp

@@DBTS。每次以任何方式更改带有

@@DBTS

值,然后增加

@@DBTS

timestamp

timestamp

的值。如果某

列,则时间戳会被记到行级。服务器就可以比较某行的当前时间戳值和上次提取时所存

列即可。如果

储的时间戳值,从而确定该行是否已更新。服务器不必比较所有列的值,只需比较

应用程序对没有

timestamp

SCROLL LOCKS

列的表要求基于行版本控制的乐观并发,则游标默认为基于数值的乐观并发控制。

这个选项实现悲观并发控制。在悲观并发控制中,在把数据库的行读入游标结果集时,

应用程序将试图锁定数据库行。在使用服务器游标时,将行读入游标时会在其上放置一个更新锁。如果在事务内打开游标,则该事务更新锁将一直保持到事务被提交或回滚;当提取下一行时,将除去游标锁。如果在事务外打开游标,则提取下一行时,锁就被丢弃。因此,每当用户需要完全的悲观并发控制时,游标都应在事务内打开。更新锁将阻止任何其它任务获取更新锁或排它锁,从而阻止其它任务更新该行。

然而,更新锁并不阻止共享锁,所以它不会阻止其它任务读取行,除非第二个任务也在要求带更新锁的读

取。滚动锁根据在游标定义的

SELECT

语句中指定的锁提示,这些游标并发选项可以生成滚动锁。滚动锁在提

取时在每行上获取,并保持到下次提取或者游标关闭,以先发生者为准。下次提取时,服务器为新提取中的行获取

滚动锁,并释放上次提取中行的滚动锁。滚动锁独立于事务锁,并可以保持到一个提交或回滚操作之后。如果提交

时关闭游标的选项为关,则

COMMIT

语句并不关闭任何打开的游标,而且滚动锁被保留到提交之后,以维护

对所提取数据的隔离。所获取滚动锁的类型取决于游标并发选项和游标

锁提示

更新

* 指定

更新

只读

未锁定

更新

乐观数值

未锁定

乐观行版本控制

未锁定

未锁定

锁定无提示

共享

未锁定

SELECT

语句中的锁提示。

未锁定

共享

更新其它

未锁定

更新

未锁定

未锁定

未锁定

更新

NOLOCK 未锁定

更新

HOLDLOCK

共享

UPDLOCK

TABLOCKX

错误

未锁定

16、用

Profiler

来跟踪查询,得到查询所需的时间,找出

NOLOCK

提示将使指定了该提示的表在游标内是只读的。

SQL的问题所在

;用索引优化器优化索引

17、注意

UNion

UNion

all

的区别。

UNION

all 好

18、注意使用

DISTINCT,在没有必要时不要用,它同

没有问题的

UNION

一样会使查询变慢。重复的记录在查询里是

19、查询时不要返回不需要的行、列

20、用

sp_configure

'query

governor

cost

limit' 或者

SET

QUERY_GOVERNOR_COST_LIMIT来限制

查询消耗的资源。 当评估查询消耗的资源超出限制时,

设置锁的时间

21、用 selecttop

服务器自动取消查询 ,在查询之前就扼杀掉。

SET

LOCKTIME

100 /

10 Percent

来限制用户返回的行数或者

:

"IS

NULL",

SET

"<>",

ROWCOUNT来限制操作的行

"!=",

"!> ",

"! <",

"NOT",

22、在 SQL2000以前,一般不要用如下的字句

'%500'" ,因为他们不走索引全是表扫描。也不

"NOT

EXISTS",

"NOT

IN",

"NOT

LIKE",

and

"LIKE

要在 WHere 字句中的列名加函数, 如 Convert,substring 等 ,如果必须用函数的时候,

创建计算列再创建索引来替代 .

还可以变通写法: WHERE

IN ,

LEFT

SUBSTRING(firstname,1,1)

=

'm' 改为 WHERE

firstname

like

'm%'(索引扫描),

EXISTS ,

一定要将函数和列名分开。

并且索引不能建得太多和太大。

OUTER

JOIN

NOT

IN 会多次扫描表, 使用 EXISTS、NOT

NULL“, NOT",

来替代, 特别是左连接 ,而 Exists 比 IN 更快,最慢的是 NOT 操作 .如果列的值含有

"NOT

空,以前它的索引不起作用, 现在 2000 的优化器能够处理了。 相同的是 IS

IN" 能优化她,而”

EXISTS", "NOT

<> ”等还是不能优化,用不到索引。

23、使用 Query

Analyzer,查看 SQL语句的查询计划和评估分析是否是优化的

SQL。一般的 20%的代码

占据了 80%的资源,我们优化的重点是这些慢的地方。

24、如果使用了

IN 或者 OR 等时发现查询没有走索引,使用显示申明指定索引:

IX_Title)

WHERE

processid

IN

(‘男’,‘女’ )

SELECT

*

FROM

PersonMember

(INDEX

=

25、将需要查询的结果预先计算好放在表中,查询的时候再

例如医院的住院费计算。

SELECT。这在 SQL7.0以前是最重要的手段。

26、MIN()

MAX()能使用到合适的索引

27、数据库有一个原则是代码离数据越近越好,所以优先选择

CheckUNIQUE,数据类型的最大长度等等都是约束)

Default,依次为 Rules,Triggers,

(约束如外健主健

Constraint

,Procedure. 这样不仅维护工作小,编写程

序质量高,并且执行的速度快。

28、如果要插入大的二进制值到

Image 列,使用存储过程, 千万不要用内嵌 INsert 来插入 (不知 JAVA是否 )。

因为这样应用程序首先将二进制值转换成字符串(尺寸是它的两倍)

,服务器受到字符后又将他转换成二进制值

.存

储过程就没有这些动作

:

方法: Create

procedure

p_insert

as

insert

into

table(Fimage)

values

(@image),

在前台调用这个存储过程传入二进制参数,这样处理速度明显改善。

29、 Between 在某些时候比 IN 速度更快 ,Between 能够更快地根据索引找到范围。用查询优化器可见

select

*

from

chineseresume

where

title

in

(' 男 ',' 女 ')

Select

*

where

between

'男 '

and

'女 '

是一样的。由于

in 会在比较多次,所以有时会慢些。

到差别。

from

chineseresume

30、在必要是对全局或者局部临时表创建索引,有时能够提高速度,但不是一定会这样,因为索引也耗费大量的资源。他的创建同是实际表一样。

31、不要建没有作用的事物例如产生报表时,浪费资源。只有在必要使用事物时使用它。

32、用 OR的字句可以分解成多个查询,

UNION

并且通过

UNION

连接多个查询。 他们的速度只同是否使用索引

UNION

有关 ,如果查询需要用到联合索引,用

all 执行的效率更高 .多个 OR 的字句没有用到索引,改写成

的形式再试图与索引匹配。一个关键的问题是否用到索引。

33、尽量少用视图,它的效率低。对视图操作比直接对表操作慢

,可以用 stored

procedure 来代替她。特

别的是不要用视图嵌套 ,嵌套视图增加了寻找原始资料的难度。 我们看视图的本质: 它是存放在服务器上的被优化好了的已经产生了查询规划的 SQL。对单个表检索数据时,不要使用指向多个表的视图,直接从表检索或者仅仅包含

这个表的视图上读,否则增加了不必要的开销

,查询受到干扰 .为了加快视图的查询, MsSQL增加了视图索引的功能。

34、没有必要时不要用 DISTINCT和 ORDER BY,这些动作可以改在客户端执行。

它们增加了额外的开销。

UNION

UNION

ALL

一 样 的 道 理 。

SELECT

top

20

convert(varchar(10),te,120)

ad

where

as

referenceID

yname,comid,position,nceid,worklocation,

postDate1,workyear,degreedescription

FROM

jobcn_YAD_query

in('JCNAD00329667','JCNAD132168','JCNAD00337748','JCNAD00338345','JCNAD00333138','JCNAD00303570',

'JCNAD00303569','JCNAD00303568','JCNAD00306698','JCNAD00231935','JCNAD00231933','JCNAD00254567',

'JCNAD00254585','JCNAD00254608','JCNAD00254607','JCNAD00258524','JCNAD00332133','JCNAD00268618',

'JCNAD00279196','JCNAD00268613') order

by

postdate

desc

35、在 IN 后面值的列表中,将出现最频繁的值放在最前面,出现得最少的放在最后面,减少判断的次数

36、当用 SELECT

from

INTO 时,它会锁住系统表

(sysobjects,sysindexes 等等 ),阻塞其他的连接的存取。创建

select

where

INTO.

name

=

drop

'XYZ'

table

t_lxh

begin

tran

select

*

into

临时表时用显示申明语句,而不是

t_lxh

chineseresume

--commit

table

在另一个连接中

SELECT *

from

sysobjects 可以看到

SELECT INTO

会锁住系统表,

Create

也会锁系统表

(不管是临时表还是系统

表 )。所以千万不要在事物内使用它!

37、一般在 GROUP BY

!!这样的话如果是经常要用的临时表请使用实表,或者临时表变量。

个 HAVING字句之前就能剔除多余的行,所以尽量不要用它们来做剔除行的工

作。他们的执行顺序应该如下最优:

十分消耗资源。如果

select

的 Where 字句选择所有合适的行,

By

Group

By 用来分组个统计行,

Having 字句用来剔除多余的分组。

这样 Group

Group

个 Having 的开销小,查询快 .对于大的数据行进行分组和

Having

Distinct 更快

BY的目的不包括计算,只是分组,那么用

,就是说批处理好

38、一次更新多条记录比分多次更新每次一条快

39、少用临时表,尽量用结果集和

Table 类性的变量来代替它 ,Table

类型的变量比临时表好

40、在 SQL2000下,计算字段是可以索引的,需要满足的条件如下:

a、计算字段的表达是确定的

b、不能用在

TEXT,Ntext

, Image 数据类型

c、必须配制如下选项

ANSI_NULLS

=

ON,

ANSI_PADDINGS

=

ON,

.

41、尽量将数据的处理工作放在服务器上,减少网络的开销,如使用存储过程。存储过程是编译好、优化

SQL 语句,是控制流语言的集合,速度当然快。反复执行

Tempdb 中。以前由于 SQL

SERVER对复杂的数学

过、并且被组织到一个执行规划里、且存储在数据库中的

的动态 SQL,可以使用临时存储过程,该过程(临时表)被放在

计算不支持,所以不得不将这个工作放在其他的层上而增加网络的开销。

SQL2000 支持 UDFs,现在支持复杂的数学

计算,函数的返回值不要太大,这样的开销很大。用户自定义函数象光标一样执行的消耗大量的资源,如果返回大的结果采用存储过程

42、不要在一句话里再三的使用相同的函数,浪费资源

,将结果放在变量里再调用更快

43、 SELECT

of

null)

COUNT(*)的效率教低,尽量变通他的写法,而

from

Table

EXISTS快 .同时请注意区别:

NOT

null)

from

Table

select

count(Field

select

count(Field

of

的返

回值是不同的。

44、当服务器的内存够多时,

SQL

配制线程数量

=

最大连接数 +5,这样能发挥最大的效率; 否则使用

=

制线程数量

<最大连接数启用

务器的性能。

SERVER的线程池来解决 ,如果还是数量

最大连接数 +5,严重的损害服

45、按照一定的次序来访问你的表。如果你先锁住表

A,再锁住表

B,那么在所有的存储过程中都要按照

B,再锁定表

A,这可能就会导致一个死锁。

这个顺序来锁定它们。如果你(不经意的)某个存储过程中先锁定表

如果锁定顺序没有被预先详细的设计好,死锁很难被发现

46、通过

SQL

Server

Performance

Monitor

监视相应硬件的负载

Memory:

Page

Faults

/

sec 计数器如果该值偶尔走高,表明当时有线程竞争内存。如果持续很高,则内存可能是瓶颈。

1、%

DPC Time

指在范例间隔期间处理器用在缓延程序调用

)。

由于

DPC

Process:

(DPC)接收和提供服务的百分比。

DPC

(DPC

正在运行的为比标准间隔优先权低的间隔

时间

是以特权模式执行的,

时间的百分比为特权

百分比的一部分。这些时间单独计算并且不属于间隔计算总数的一部

2、%Processor

分。这个总数显示了作为实例时间

百分比的平均忙时。

Time 计数器

如果该参数值持续超过

95%,表明瓶颈是

CPU。可以考虑增加一个处理器

或换一个更快的处理器。

3、%

Privileged

Time

指非闲置处理器时间用于特权模式的百分比。

(特权模式是为操作系统组件和

操纵硬件驱动程序而设计的一种处理模式。它允许直接访问硬件和所有内存。另一种模式为用户模式,它是一种为应用程序、环境分系统和整数分系统设计的一种有限处理模式。操作系统将应用程序线程转换成特权模式以访问操

作系统服务 )。 特权时间的 % 包括为间断和 DPC 提供服务的时间。 特权时间比率高可能是由于失败设备产生的大数量的间隔而引起的。这个计数器将平均忙时作为样本时间的一部分显示。

4、%

Queue

User

Length

Time

表示耗费

CPU 的数据库操作,如排序,执行

aggregate

高,可考虑增加索引,尽量使用简单的表联接,水平分割大表格等方法来降低该值。

functions

等。如果该值很

Physical

Disk:

Curretn

Hit

Disk

1.5~2

80%,应考虑增加内存。

注意该参数值是从

SQLServer:Cache

Ratio 计数器该值越高越好。如果持续低于

SQL

Server 启动后,就

一直累加记数,所以运行经过一段时间后,该值将不能反映系统当前值。


本文标签: 查询 服务器 游标 使用 优化