一个table，25亿条记录，每天要更新，最快的方法？

Fernando

典 发表于 2013-4-10 12:44
这个Trigger Sql也有
跟前面提到的flag思路差不多
如果任何修改增加，就用trigger标记一下表示这条记录需 ...

这样应该挺快的

典

淘宝数据库大好多数量级
他们曾经用oracle
现在?抛弃oracle了
转向Mysql

Fernando

典 发表于 2013-4-10 14:56
淘宝数据库大好多数量级
他们曾经用oracle
现在?抛弃oracle了

淘宝直接和厂商定制硬件，大量使用开源软件，开始贡献自己的版本

workflow

DW一般都是增量加载吧，除了第一次上线是full load，后面的都是增量加载啊

porcorosso

典 发表于 2013-4-10 14:56
淘宝数据库大好多数量级
他们曾经用oracle
现在?抛弃oracle了

反而用上mysql？？？

牛就一个痣！

wonderdream

SQL Server Table Partitioning

Please search "SQL Server Table Partitioning: Resources" in google and you should find Brent Ozar's blog regarding this topic

yangwulong1978

我在想再过10年这个TABLE 有多大，

wonderdream

the ultimate and quickest solution is the Partition Switching.

You load the source data into a heap and switch it into a empty partition of your target fact table.

Make sure you test it on your dev environment and know its limitation.

Also, you could use T-SQL bulk insert with tablock to enable minimally logging. If SSIS is used, you could turn on trace flag 610 to get minimally logged operation. check the SSIS whitepaper for example.

wonderdream

wonderdream 发表于 2013-4-10 16:28
SQL Server Table Partitioning

Please search "SQL Server Table Partitioning: Resources" in google an ...

If you think the blog helps you, please gives me some score. I really need it to post URL. It's a bit sick that I can't even post links.

典

话说大淘宝去年决定普及mysql ,去掉oracle, 引起很多人注意
1） 阿里公司内部近80DBA 怎么办？何去何从？
2）如果国内其它公司效法，全国n万高薪oracle DBA怎么办？
3）广大学生问：我该怎么办，学哪个数据库有前途？

wonderdream

月亮 发表于 2013-4-10 10:33
column倒不是很多，总共size是230GB，加上Index的话是500GB

Apparently, you haven't applied compression on both tables and indexes. You should seriously consider it.

Partition your tables and place your active updating files onto your fastest sub storage system (SSD or fusion IO, if you can get one) and you will see a boost of read speed.

huaxianz

huaxianz 发表于 2013-4-10 10:11
不是太清楚问题
不过一般可以用CDC,partitioning
25亿条一般来说绝对算大了，不过更要看width,总体的size更 ...

500GB一个表?Omg，绝对算VLDB了。
楼主可以看一下CDC,绝对是用来解决这种问题的。每次都truncate table根本不现实。
partitioning也是必须的。
如果ssis能用2012，cdc是集成的，非常好用。

teddymu

partition or drop -> re-create

huaxianz

典 发表于 2013-4-10 16:47
话说大淘宝去年决定普及mysql ,去掉oracle, 引起很多人注意
1） 阿里公司内部近80DBA 怎么办？何去何从？
2 ...

mysql不需要DBA了吗？
不懂，纯属提问，不是反问。

Fernando

典 发表于 2013-4-10 16:47
话说大淘宝去年决定普及mysql ,去掉oracle, 引起很多人注意
1） 阿里公司内部近80DBA 怎么办？何去何从？
2 ...

做了几年了，去年是出成果的时候。我认识的人有转MySQL 的，有离开的
。其实MySQL  dba 收入更高，他们背后没有oracle 支持

henda

我觉得lz的 db table 能到 230GB基本上应该可以断定之前没有partition， 也没有 filegroup，filegroup 也必需要有 multiple disks 才能达到好效果。

lz 的 source table 可有 create 和 modification timestamp？

如有可以 sliding window time 读取数据：

select x,y,z
from source_table
where ((create_dttm >= lset and create_dttm < cet) or
          (modif_dttm >= lset and modif_dttm < cet))

lset : last successfull extraction time
cet: current extraction time

记得 traverse lset，cet


如果用的是 2008， 建议如下几个步骤：

(1) data_compression = page
(2) 如 disk space 许可，可以尝试 raw file destination。
（3）用基本的 lookup， new row 直接insert，modified row 去 temp table
（4） 读 temp table 进行 update， update 可以用 slowly changing dimension，如果数量太多可以用 merge statement
（5） oldb destination 记得 fast load

henda

月亮 发表于 2013-4-10 12:05
用merge into也很慢。。。慢死人。。。死人。。。人。。。

merge into 很慢是因为 source 太多了，有没有办法减少 source row，比如先 insert new row，modified row 写到 temp table，merge statement 只读 temp table？ merge statement 没 index 也是不归路。。。

bluesknight

每天tuncate reload？source table 没有change flag，update datetime，insert datetime之类的control column么？一般都是initial load之后每天就跑个delta啊

jl162401

上啥oracle啊 Teradata了

Oracle的话 建议研究一下wisdomforce 的 fastreader

或者直接bigdata

atransformer

SSIS?? 这东西弄这么大量的数据，能行吗？

huaxianz

atransformer 发表于 2013-4-10 21:23
SSIS?? 这东西弄这么大量的数据，能行吗？

http://msdn.microsoft.com/en-us/library/dd537533(v=sql.100).aspx

oot

LZ  是程序员还是DBA

典

LZ是美女DBA

Fernando

LZ不是说转BI了吗

porcorosso

我也想到partition，但是不确定是不是楼主的工作范围

IsDonIsGood

Fernando 发表于 2013-4-10 23:30
LZ不是说转BI了吗

data massage 是BI重要的工作之一

Fernando

IsDonIsGood 发表于 2013-4-11 08:58
data massage 是BI重要的工作之一

是的，这个算ETL吧？
好像workflow说做BI分两块，一块是ETL，一块是做展现的

workflow

Fernando 发表于 2013-4-11 10:00
是的，这个算ETL吧？
好像workflow说做BI分两块，一块是ETL，一块是做展现的 ...

还有一块是做分析的，做model，mining，不过目前９０％的BI项目其实就是ETL＋report

IsDonIsGood

Fernando 发表于 2013-4-11 09:00
是的，这个算ETL吧？
好像workflow说做BI分两块，一块是ETL，一块是做展现的 ...

ETL，Report,Data mining应该分开算吧。
但是个人理解都算BI了

findajob

各位足迹名人都都是做IT的阿 哈哈