一个table，25亿条记录，每天要更新，最快的方法？

月亮

有个一个table，有25亿条记录并且在不断增长中，每天要从PRODUCTION数据库copy到DW的数据库，目前的操作是每次truncate table，然后SSIS传输，有木有更快的办法？

用的是SQL 2008

Fernando

如果是Oracle就好说，呵呵
SQL 2008 应该也很强大了，办法应该很多吧

huaxianz

不是太清楚问题
不过一般可以用CDC,partitioning
25亿条一般来说绝对算大了，不过更要看width,总体的size更能说明问题

月亮

huaxianz 发表于 2013-4-10 10:11
不是太清楚问题
不过一般可以用CDC,partitioning
25亿条一般来说绝对算大了，不过更要看width,总体的size更 ...

column倒不是很多，总共size是230GB，加上Index的话是500GB

月亮

Fernando 发表于 2013-4-10 10:09
如果是Oracle就好说，呵呵
SQL 2008 应该也很强大了，办法应该很多吧

方法应该是不少，但要最快的。

用Merge Into快，还是Truncate了全部重来快？

表太大，捣腾一遍一天就没了，伤不起

porcorosso

月亮 发表于 2013-4-10 10:33
column倒不是很多，总共size是230GB，加上Index的话是500GB

减少用index速度会加快

index25亿条记录太吃力了，每次insert都得gothru它们

月亮

porcorosso 发表于 2013-4-10 10:35
减少用index速度会加快

index25亿条记录太吃力了，每次insert都得gothru它们

但如果传过去之后再加index，还是费时间的。

这么大的表不index随便运行个report都要等死

Fernando

每次25亿条记录都是新的? 只要把更新的一部分数据传过去就可以了吧，能有多少%?

典

Replication不行吗，是不是copy的时候要处理？

dbsdsuna

把这个表对应的文件找出来，直接拷文件如何？

典

我知道有人是给每条record加标记，比如1表示已经传给DW了
如果一条record被update,就把标记去掉

每天给DW传数据的时候先看标记
传完后再加上标记


这个方法可行但不是特别好

北风

不要用insert into

这样，log会少很多
1. drop table
2. select into
3. create constrains, indexes...

kr2000

25亿！
膜拜

北风

北风 发表于 2013-4-10 11:55
不要用insert into

这样，log会少很多

我的经验是其他的truncate, insert; insert only都不会比这个方法快的
你可以拿1千万的record先试验

月亮

典 发表于 2013-4-10 11:39
Replication不行吗，是不是copy的时候要处理？

replication一个table?

月亮

Fernando 发表于 2013-4-10 11:33
每次25亿条记录都是新的? 只要把更新的一部分数据传过去就可以了吧，能有多少%? ...

用merge into也很慢。。。慢死人。。。死人。。。人。。。

stevenbian

传以前把目标表的主键外键索引各种约束统统去掉，传完再加回来。

月亮

stevenbian 发表于 2013-4-10 12:11
传以前把目标表的主键外键索引各种约束统统去掉，传完再加回来。

木有约束，除了一个IDENTITY外，啥都木有

dayang

wow, 一个500GB的table.

膜拜

dalaohu

才半个T，还早，呵呵

月亮

北风 发表于 2013-4-10 11:55
不要用insert into

这样，log会少很多

每次都drop table? 有啥理论根据？

北风

月亮 发表于 2013-4-10 12:25
每次都drop table? 有啥理论根据？

select into不会写到transaction log
而insert into会，这会造成很大的区别
你试一下就知道了

典

还有个办法是做partition, 如果能找到规律，把铁定不会被更改的记录放一个或几个partition里，这样每次只需处理部分数据

或者干脆分成几个表，如果有规律可循

Replication一个表当然可以，等于把这个表身上当天发生的log传过去。

Fernando

月亮 发表于 2013-4-10 12:05
用merge into也很慢。。。慢死人。。。死人。。。人。。。

merge 肯定要读整个表的

oracle的materialized view可以只refresh 数据变化的部分。 在后台就是trigger来实现的。所有的insert,update, delete都trigger一个transaction复制数据，overhead很小。 Sql Server 自己有BI，ETL这块应该也有现成的功能吧。

前面那个朋友说把数据文件copy过去，这个可以吗？把这个大表放在一个单独的数据文件里，用备份恢复的方式copy

月亮

典 发表于 2013-4-10 12:30
还有个办法是做partition, 如果能找到规律，把铁定不会被更改的记录放一个或几个partition里，这样每次只需 ...

问了一下IT，他们不同意做Replication，目前只有Mirror

chinara

25 亿都是新数据？没有时间column? 有什么column 可以分区吗？不能高级复制？改点传点儿？

能每晚磁盘镜像然后在另外一台机器重建report 或DW 实例吗？

不熟SQL Server，进来学习的。开始对SQL Server 膜拜了。

月亮

chinara 发表于 2013-4-10 12:38
25 亿都是新数据？没有时间column? 有什么column 可以分区吗？不能高级复制？改点传点儿？

能每晚磁盘镜像 ...

大部分不是新的，但会更改，主要是想找到最快的方法

典

Fernando 发表于 2013-4-10 12:34
merge 肯定要读整个表的

oracle的materialized view可以只refresh 数据变化的部分。 在后台就是trigger ...

这个Trigger Sql也有
跟前面提到的flag思路差不多
如果任何修改增加，就用trigger标记一下表示这条记录需要传送，当然也可以象你说的把记录复制一份

黑山老妖

要快就一定要避免transaction log。
Drop table 肯定比truncate table 快。
都这样大的数据库还用微软。。。
上oracle 啦。

stevenbian

貌似微软的DW和excel整合的比较好，oracle的DW不知道现在改成啥样了。