请问一个电信或是银行等大型DW的读取问题

月亮

如果每个用户每天有500条纪录，一年有182，500条纪录。用户被允许从网上查询最近两年的纪录，从performance考虑，怎样能使读取速度最快？

把两年数据放在一个table，剩下的放archive table?

binbenban

partition, aggregate, index

月亮

partition, index是肯定的，但如果几万个用户同时查询，还是免不了会慢

kr2000

如果是从一个table查询，数据库方面帮不了太多忙吧

月亮

kr2000 发表于 2013-3-1 11:42
如果是从一个table查询，数据库方面帮不了太多忙吧

那在哪方面才能提高性能呢？

Fernando

分区，压缩，IOT。
历史只读数据，分散到mysql里放在低端server上就可以了，有ssd肯定快

yolandalinz

distribute database + load balancer? 我瞎猜的。

Fernando

月亮 发表于 2013-3-1 08:56
partition, index是肯定的，但如果几万个用户同时查询，还是免不了会慢

几万的用户，最好是从application level就partition了吧

kr2000

月亮 发表于 2013-3-1 10:53
那在哪方面才能提高性能呢？

应该是写程序的优化吧
web的话，缓存，异步什么的可以减少用户等待时间

如果访问人多，瓶颈在数据库的话，那象楼上说的可以用分布式数据库

huaxianz

AlwaysOn Readonly Secondary Replica(s)

月亮

kr2000 发表于 2013-3-1 12:10
应该是写程序的优化吧
web的话，缓存，异步什么的可以减少用户等待时间

基本就是report，没有程序，全是从DW里取数据

jaszhou

不同Vendor的产品方案可能会不一样。如果是DB2的话，肯定是DPF, Database Partition + Table Partition,这样需要多个Node来提高并发性能。如果是MySQL的话就更简单，直接装多个replication node, 反正是读取数据，这样架构最合适不过。 前端需要用proxy作balancer或者sharding.

IsDonIsGood

月亮 发表于 2013-3-1 12:27
基本就是report，没有程序，全是从DW里取数据

既然是用户看，presentation应该在web对吧，怎么会没有程序呢？ 取了数据总要rendering到webpage吧。
别告诉我是用SSRS啊。
数据库端既然已经partition，index做到最优了，要想有performance的提升用异步和缓存应该是最有效的了。

binbenban

cache

wil

对数据实时性有要求么

mylt

哈哈,
对用户分组,每个组是一个表,
或者现在流行的nosql数据库

mylt

hadoop mapreduce
mogondb 这个里面也有mapreduce
这个搞大了.

bluesfans

nosql不适合在银行领域，不成熟也不可靠

wil

bluesfans 发表于 2013-3-22 14:55
nosql不适合在银行领域，不成熟也不可靠

具体问题具体分析，如果不做交易类存储还是可以考虑用nosql的，银行也有很多内部系统的

北风

你不是BI吗？这需要你做构架？

北风

想象一下你现在的环境是这样的
几个database server 是平常OLTP的（PartA），通过SSIS或者之类的server到一个data warehouse server（PartB），再有一个SSRS处理report（PartC），可能还有SSAS
我的理解你公司的普通user看得report是出于PartC的，而他们平常的记录是进出PartA的

PartB里面不管是2年内的记录还是2年外的记录都有，分开的
PartA中2年内的记录和2年外的记录也是分开的，甚至1-3月的记录和2年内的记录也是分开的。但是这个分开不是为了user查询transaction history，是为了数据update。
PartC从PartB中来的，如果是大的数据可以先存report server table。

几万个用户要查询的到底是report还是transaction history？这两种是有些不同的，前者应该出自SSRS，而后者可以出自cached dataset，也可以来自SSRS，这部分web developer会实现，就是要注意large dataset

joerkky

很多高人啊，学习了。

NOSQL其实对于只读数据支持没那么差，不过这个需求用NOSQL也没有什么好处。只是根据index找用户记录而已，没有什么format可言。

jl162401

并发用户数几万个？ 不靠谱吧 在线用户数？

啥数据库啊 Oracle？SQL Server？ Teradata?

所有都是假的 表要越小越好

老衲

Distributed Partitioned Views