大数据量下的查找最新的几条数据的通用方法,该如何处理
大数据量下的查找最新的几条数据的通用方法
原文地址
http://blog.csdn.net/xuexiaodong2009/article/details/7938679
由于项目需要，需要获取一组数据的的最新一条数据，表结构如下：
[sql] view plaincopy
CREATE TABLE [dbo].[WUSU_SUOLITest_Table](
[ID] [bigint] IDENTITY(1,1) NOT NULL,
[ReceiveTime] [datetime] NULL,
[GroupID] [bigint] NOT NULL,
[DataValue] [float] NULL,
[SensorCode] [char](10) NOT NULL,
)
在这个表上只有两种操作，插入和查询，没有删除和更新。而且同一种设备，随着id列的变大，ReceiveTime也随着变大。
每一个不同的SensorCode代表了一个设备，目前有50个设备，每30秒上报一次数据，ReceiveTime代表上报数据的时间，现在需要获取每一个设备最新一次的数据，
开始我使用如下的查询语句：
[sql] view plaincopy
select * from WUSU_SUOLITest_Table where id in (select max(id) from WUSU_SUOLITest_Table group by SensorCode )
在数据量比较小时，是没有问题的，但数据量特别大时，这种方式，目前一天的数据就超过了14万，有很大的延时，即使在id上有聚集索引，SensorCode上使用了分区，依然没有多大作用。时间主要花费到了group by上。
实在想不多到什么好的而解决方法，就只能在此表上创建一个触发器，每次插入数据时就把最新的数据放在了一个临时表，又有临时表最多只有50条数据，速度当然就很好了。
[sql] view plaincopy
create TRIGGER [dbo].[UpdateWUSU_LastOriginalDataSUOLI]
ON [dbo].[WUSU_SUOLITest_Table]
AFTER INSERT
AS
BEGIN
declare @SensorCode char(10), @DataValue float ,@ReceiveTime datetime ,@GroupID bigint
select @SensorCode=SensorCode,@DataValue=DataValue,@ReceiveTime=ReceiveTime,@GroupID=GroupID from inserted
update WUSU_LastOriginalData set DataValue=@DataValue,ReceiveTime=@ReceiveTime,GroupID=@GroupID
where SensorCode=@SensorCode
END
当然这是为了获取各种设备最新的一条数据，如果要获取最新的两条数据，最多也就是100条记录，一次类推，只需要把上边的触发器修改一下就可以。
但还有没有更好的方式，在不修改表结构的情况下？目前还没有想到。
------解决方案--------------------
TRY:
------解决方案--------------------
更正笔误
------解决方案--------------------
这种触发器 更新到另一个表，你查询这个的时候是快了
但是你的查询往往会比这个复杂，条件不固定，所以这样会比较浪费
你才十几万可以试试3楼的语句
或者
------解决方案--------------------
原文地址
http://blog.csdn.net/xuexiaodong2009/article/details/7938679
由于项目需要，需要获取一组数据的的最新一条数据，表结构如下：
[sql] view plaincopy
CREATE TABLE [dbo].[WUSU_SUOLITest_Table](
[ID] [bigint] IDENTITY(1,1) NOT NULL,
[ReceiveTime] [datetime] NULL,
[GroupID] [bigint] NOT NULL,
[DataValue] [float] NULL,
[SensorCode] [char](10) NOT NULL,
)
在这个表上只有两种操作，插入和查询，没有删除和更新。而且同一种设备，随着id列的变大，ReceiveTime也随着变大。
每一个不同的SensorCode代表了一个设备，目前有50个设备，每30秒上报一次数据，ReceiveTime代表上报数据的时间，现在需要获取每一个设备最新一次的数据，
开始我使用如下的查询语句：
[sql] view plaincopy
select * from WUSU_SUOLITest_Table where id in (select max(id) from WUSU_SUOLITest_Table group by SensorCode )
在数据量比较小时，是没有问题的，但数据量特别大时，这种方式，目前一天的数据就超过了14万，有很大的延时，即使在id上有聚集索引，SensorCode上使用了分区，依然没有多大作用。时间主要花费到了group by上。
实在想不多到什么好的而解决方法，就只能在此表上创建一个触发器，每次插入数据时就把最新的数据放在了一个临时表，又有临时表最多只有50条数据，速度当然就很好了。
[sql] view plaincopy
create TRIGGER [dbo].[UpdateWUSU_LastOriginalDataSUOLI]
ON [dbo].[WUSU_SUOLITest_Table]
AFTER INSERT
AS
BEGIN
declare @SensorCode char(10), @DataValue float ,@ReceiveTime datetime ,@GroupID bigint
select @SensorCode=SensorCode,@DataValue=DataValue,@ReceiveTime=ReceiveTime,@GroupID=GroupID from inserted
update WUSU_LastOriginalData set DataValue=@DataValue,ReceiveTime=@ReceiveTime,GroupID=@GroupID
where SensorCode=@SensorCode
END
当然这是为了获取各种设备最新的一条数据，如果要获取最新的两条数据，最多也就是100条记录，一次类推，只需要把上边的触发器修改一下就可以。
但还有没有更好的方式，在不修改表结构的情况下？目前还没有想到。
------解决方案--------------------
TRY:
select * from WUSU_SUOLITest_Table A
where NOT EXISTS (
SEELCT 1 FROM WUSU_SUOLITest_Table B
WHERE B.SensorCode =A.SensorCode
AND B.ID > A.ID)
------解决方案--------------------
更正笔误
select * from WUSU_SUOLITest_Table A
where NOT EXISTS (
SELECT 1 FROM WUSU_SUOLITest_Table B
WHERE B.SensorCode =A.SensorCode
AND B.ID > A.ID)
------解决方案--------------------
这种触发器 更新到另一个表，你查询这个的时候是快了
但是你的查询往往会比这个复杂，条件不固定，所以这样会比较浪费
你才十几万可以试试3楼的语句
或者
select * from WUSU_SUOLITest_Table as t
where id = (select max(id) from WUSU_SUOLITest_Table where SensorCode=t.SensorCode )
------解决方案--------------------