邹建等达人进,高分求海量数据查询统计,该如何处理
邹建等达人进,高分求海量数据查询统计
我用的是SQL 2000,数据量达20G,现在统计查询超时,请问怎样解决?
------解决方案--------------------
1)根据统计查询的条件合理分区
2)根据统计查询的条件建立合理索引
3)建立合理的视图
最好将表结构和查询语句贴出来
------解决方案--------------------
可能首先考虑索引问题
------解决方案--------------------
晕20G？有多少条呀？
------解决方案--------------------
全是数值，日期，字符类型的？没些图片什么？
太大了些，能不能删除一些没用的东西？过期的
------解决方案--------------------
在表字段上键索引,同时选用优化的统计查询语句.
------解决方案--------------------
真的太大了！
------解决方案--------------------
,20G还只是一个比较大的州的
................................
晕死,这大的数据库还没接触过...
只想到
----------------------------------
jyxhz(jyxhz) ( ) 信誉：97 Blog 加为好友 2007-5-21 19:45:47 得分: 0
1)根据统计查询的条件合理分区
2)根据统计查询的条件建立合理索引
3)建立合理的视图
他想的,帮UP好了
------解决方案--------------------
查询可以考虑楼上的，统计可以考虑olap
------解决方案--------------------
呵呵，这个比较适合用数据仓库来实现
------解决方案--------------------
关注
------解决方案--------------------
20G可以考虑从操作型数据库中抽取、净化、和转换数据到数据仓库。
数据仓库是专门用来处理海量数据的。
------解决方案--------------------
分块先统计，然后汇总。
比如可以先把每个村的数据统计好。然后一级一级向上汇总。
------解决方案--------------------
数据仓库！学习中！
------解决方案--------------------
如果是查询，可以采用多级索引来解决
如果是统计，建议建立独立的统计信息表，每天定时的把这些数据算出来（例如下班时间），而非即时计算，即时显示。
现在金融系统往往就都是这么做的。
------解决方案--------------------
数据仓库不是一下就能说得明白的。建议楼主去找这方面的资料。
数据仓库是一个环境，而不是一件产品，提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到。数据仓库技术是为了有效的把操作形数据集成到统一的环境中以提供决策型数据访问，的各种技术和模块的总称。所做的一切都是为了让用户更快更方便查询所需要的信息，提供决策支持。
参考来源：http://www.itisedu.com/phrase/200603091358275.html
------解决方案--------------------
不用看数据仓库。
数据仓库是把结构数据变为海量数据，空间换时间。
数据量达20G？现在统计查询超时。
需要细化统计查询内容
20G？查询字符信息？
------解决方案--------------------
LZ的统计查询是怎么操作的？
统计，肯定不能每天都全部统计啊。可以每天进行更新统计。
如果查询的话，可以根据查询需要建立适当的索引。
SQL2000是不支持分页处理的，这个需要升级到SQL2005。
20G的数据量不算特别大。需要注意的是设计要合理高效。
基本前提还是要服务器性能不能太差。
我这里有几个库都还是比较大的，最大的都超过190G的。在建立好索引的情况下，每次查询还是比较快的。只是每月load新数据的时候会比较慢，一般需要近2天的时间。
------解决方案--------------------
基本上就是用你现在的方法来解决问题。
肯定要把数据分开才能提高效率。
是否考虑过建立一个临时的处理表来进行部分统计。
区块统计的时候，导入需要统计的区块，统计完成后，释放临时表。
再将所有的部分统计结果结合起来？
因为你的问题不是很具体，不清楚，你在统计的过程中的难点是什么。
我用的是SQL 2000,数据量达20G,现在统计查询超时,请问怎样解决?
------解决方案--------------------
1)根据统计查询的条件合理分区
2)根据统计查询的条件建立合理索引
3)建立合理的视图
最好将表结构和查询语句贴出来
------解决方案--------------------
可能首先考虑索引问题
------解决方案--------------------
晕20G？有多少条呀？
------解决方案--------------------
全是数值，日期，字符类型的？没些图片什么？
太大了些，能不能删除一些没用的东西？过期的
------解决方案--------------------
在表字段上键索引,同时选用优化的统计查询语句.
------解决方案--------------------
真的太大了！
------解决方案--------------------
,20G还只是一个比较大的州的
................................
晕死,这大的数据库还没接触过...
只想到
----------------------------------
jyxhz(jyxhz) ( ) 信誉：97 Blog 加为好友 2007-5-21 19:45:47 得分: 0
1)根据统计查询的条件合理分区
2)根据统计查询的条件建立合理索引
3)建立合理的视图
他想的,帮UP好了
------解决方案--------------------
查询可以考虑楼上的，统计可以考虑olap
------解决方案--------------------
呵呵，这个比较适合用数据仓库来实现
------解决方案--------------------
关注
------解决方案--------------------
20G可以考虑从操作型数据库中抽取、净化、和转换数据到数据仓库。
数据仓库是专门用来处理海量数据的。
------解决方案--------------------
分块先统计，然后汇总。
比如可以先把每个村的数据统计好。然后一级一级向上汇总。
------解决方案--------------------
数据仓库！学习中！
------解决方案--------------------
如果是查询，可以采用多级索引来解决
如果是统计，建议建立独立的统计信息表，每天定时的把这些数据算出来（例如下班时间），而非即时计算，即时显示。
现在金融系统往往就都是这么做的。
------解决方案--------------------
数据仓库不是一下就能说得明白的。建议楼主去找这方面的资料。
数据仓库是一个环境，而不是一件产品，提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到。数据仓库技术是为了有效的把操作形数据集成到统一的环境中以提供决策型数据访问，的各种技术和模块的总称。所做的一切都是为了让用户更快更方便查询所需要的信息，提供决策支持。
参考来源：http://www.itisedu.com/phrase/200603091358275.html
------解决方案--------------------
不用看数据仓库。
数据仓库是把结构数据变为海量数据，空间换时间。
数据量达20G？现在统计查询超时。
需要细化统计查询内容
20G？查询字符信息？
------解决方案--------------------
LZ的统计查询是怎么操作的？
统计，肯定不能每天都全部统计啊。可以每天进行更新统计。
如果查询的话，可以根据查询需要建立适当的索引。
SQL2000是不支持分页处理的，这个需要升级到SQL2005。
20G的数据量不算特别大。需要注意的是设计要合理高效。
基本前提还是要服务器性能不能太差。
我这里有几个库都还是比较大的，最大的都超过190G的。在建立好索引的情况下，每次查询还是比较快的。只是每月load新数据的时候会比较慢，一般需要近2天的时间。
------解决方案--------------------
基本上就是用你现在的方法来解决问题。
肯定要把数据分开才能提高效率。
是否考虑过建立一个临时的处理表来进行部分统计。
区块统计的时候，导入需要统计的区块，统计完成后，释放临时表。
再将所有的部分统计结果结合起来？
因为你的问题不是很具体，不清楚，你在统计的过程中的难点是什么。