请问论坛里谁是做Microsoft BI的？

wonderdream

wonderdream 发表于 2013-4-19 23:13
http://www.purplefrogsystems.com/blog/2013/04/mdx-between-start-date-and-end-date/

另外， 如果你用Alex的方法的话，记得aggregation method不要用sum, 要用LastNonEmpty, 因为what you are trying to get is the relatively latest record as the point of time

SLCOW

Mark.

ccj5124

dc81 发表于 2013-4-19 22:41
你太厉害了，我其实就是问MDX实现point in time，谢谢你找到的资料！

“如果你只是想get the latest ver ...

我应该说成multidimensional cube要被tabular model取代

dc81

暂时不存在谁取代谁，sql2012是双线并行。tabular mode适合小型db，personal

zombie

哪位同学开个BI的讨论组吧，大家可以经常交流。
我扔个砖。谁说说SSIS里audit 和 log的方法吧。
我想到就是SSIS LOGGING， event handler， 在control flow里加log tasks， 使用第三方如 BI xpress。

wonderdream

In SQL Server 2012, you can also use SSIS 2012 project deployment model. This is probably the Easiest Official way of logging. In addition, you get a lot of reporting features both from out of box and from codeplex

zombie

还有很多在用2008的。2012还要学习。
我现在先做一个主控package， 在里面用event handler设好各audit表，再用sysssislog来存各个子execute package task的错误，主package动态运行子package。这样，在子package里不用任何logging。这里只能做到子package层的log。如果要做其内部的，还要在子package里动手。
感觉是有点烦。
LZ在2008里是怎么做的呢？

wonderdream

zombie 发表于 2013-4-24 14:08
还有很多在用2008的。2012还要学习。
我现在先做一个主控package， 在里面用event handler设好各audit表， ...

Honestly, I only implemented the built-in logging (sysssislog and ssisdb in sql 2012). But I think you already mentioned all possible logging options.

huaxianz

zombie 发表于 2013-4-24 14:08
还有很多在用2008的。2012还要学习。
我现在先做一个主控package， 在里面用event handler设好各audit表， ...

不知道我说的是不是你问的。在2008中，我先做一个template package,把所有公共的设置都配好，比如variable,还有你说的logging/auditing mechanism.方法和你的类似，就是在各个event handler中插入一些sp,这样比如当pre-execute event发生时，会把相应的信息写到logging table中。我是用自定义的一组表来做。然后把这个或者这些template package分发给同一项目的。然后在bids或者ssdt中注册好。这样每创建一个新package,都是从template上继承过来定义好的设置，包括logging.而且所有开发人员的环境都能得到统一。
不过就像楼主说过的，2012的内置logging/reporting的功能好的太多了，就没必要再定制了。

huaxianz

dc81 发表于 2013-4-22 21:03
暂时不存在谁取代谁，sql2012是双线并行。tabular mode适合小型db，personal

Agree.
columnar model确实有很多优点，但与multi dimensio目前来说应该算是互补关系，目标市场不一样。
最近由于需要用到power view所以不得不研究一下tabular.不过据说微软要在下一次service pack中加入power view对cube的支持了。

dc81

zombie 发表于 2013-4-24 14:08
还有很多在用2008的。2012还要学习。
我现在先做一个主控package， 在里面用event handler设好各audit表， ...

我目前也是这么做的。
Master package 下面挂一堆Sub package。
运行时把activity log 和error log统统存到一个单独的ETL Framework DB里面。

zombie

大家再说说怎样做的ETL错误恢复吧。是重新再做一次，还是从断点恢复。

lt496842me

现在用SQL SERVER 08R2， SSIS SSAS 和水晶报表。ETL数据量不大，一次大概五十个不同的flat file。用MDX替代SP，把数据存到dataset里供水晶报表使用。

另外，我工作时间不多，想问下大家的数据库都多大，有多少个表呀？我现在用的平均一个server几十个数据库，一个数据库400多个表。有的数据库只有几百MB，有的有60多G。大型数据库一般有多少个表，多少G呀？

兰宝宝

公司基本是用kimball methodology 建有许多分散的Data Mart.

假设同一个DB server上有五个Data Mart （which contain data required for specific departments），每个都用到DimProduct，请问你是把DimProduct存上5份么？

The scenario is
DM1 : DimProduct, Dim1, FactTable1
DM2:  DimProduct, Dim2, FactTable2
DM3 : DimProduct, Dima, FactTable3
DM4:  DimProduct, Dimb, FactTable4
DM5:  DimProduct, Dimc, FactTable5

存上5份的好处是方便建FK，加快数据查询。 但坏处是占用存储空间，而且万一5份之间有inconsistent怎么办哪？

waynepublic

huaxianz 发表于 2013-4-24 20:34
不知道我说的是不是你问的。在2008中，我先做一个template package,把所有公共的设置都配好，比如variabl ...

我们用的也是这个方法，这样我们可以log所以的steps和errors。而且很容易setup。

waynepublic

wonderdream 发表于 2013-4-17 22:18
SQL Server 2005 - SQL Server 2008 R2, 用SSIS Dimension Merge SCD (以前叫kimball scd)， 最新的版本 ...

我在做ETL的时候也喜欢用纯Sql的solution, 就像你说的摆脱了对第三方控件的依赖（performance tuning 也比较透明）。而且甚至可以做出一些common framework. 这样的ETL solution可以被不同的project使用。主要要的思路是在sp里用dynamic sql。mapping rules, scd rules等等写在table里，这部分可以自己写一个网页或windows form的tool来做到easy configuration。最后，总的solution由一个或数个ssis packages组成。

warmel

技术讨论外，只想问一个问题，大家工资过150K package了吗？

zombie

同问。

楼主出来下？

Guevara4Ever

楼主好像是悉尼的，有没有墨尔本的BI同学呀？

不会游泳的鱼

Microsoft is dead

Guevara4Ever

不会游泳的鱼 发表于 2014-4-13 22:05
Microsoft is dead

能大概说说你的看法么？

典

搭车问个问题，如果前端的transaction 修改了，一般是怎样把修改传递到DW?

zombie

一般transactiony有修改记录，或者log或者db的log，比较时髦的有cdc。再不行就是比较一个hash值，逐条找。

summerd87

我之前做了1年MS BI， 现在在做SharePoint dev了

zombie

最近hadoop，big data越来越火。我个人也在思考以后的职业方向。是继续增强ms bi的技术，比如学全ms的tabular，poweview及其他如R；还是转战hadoop。两条腿走路？

我想不少做传统bi的同学都有类似的思考吧。

大家讨论讨论。

summerd87

zombie 发表于 2014-5-20 08:46
最近hadoop，big data越来越火。我个人也在思考以后的职业方向。是继续增强ms bi的技术，比如学全ms的tabul ...

澳洲这边有点偏微软，特别是政府很多都是用微软产品。但微软产品又有点跟不上时代。