新足迹

 找回密码
 注册

精华好帖回顾

· 参加活动--圣诞新年败家秀:罪恶的2010 (2010-12-18) 魅影妖瞳 · 烤蓝莓芝士蛋糕 (2010-4-4) cctang
· 没有日出的Maroubra (2009-4-7) dickson · 女儿与中文 (2007-12-18) wangjing_ku
Advertisement
Advertisement
查看: 3097|回复: 31

[IT] 请教一下BI数据仓库的职位的学习路径 [复制链接]

发表于 2012-7-3 13:04 |显示全部楼层
此文章由 忽然一周 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 忽然一周 所有!转贴必须注明作者、出处和本声明,并保持内容完整
之前没有数据仓库的背景知识,因为现在的公司并购了美国一家专门做BI解决方案的公司,被抓到美国去囫囵吞枣学习了一下工具的使用,回来之后开始慢慢搭建demo系统给销售,目前正在我们公司自己的ERP系统数据库上安装Pentaho datamart,然后用美国公司做的ETL工具连接,最后通过它的BI报表工具搞一堆fancy的界面,KPI啊,drilldown啊之类的。理论上我目前不用接触真正核心的ETL设计,而且现阶段对我太艰深,当时在美国听的我打瞌睡。
  目前的工作虽然轻松,但是工资不高,希望通过3年时间来学这块东西,加上比较方便的hand on机会,3年以后可以往DW,BI的专门职位跳槽, 希望各位做数据仓库的前辈给推荐点比较实用的学习路径,书籍,教程,工具等,有分酬谢。
曳尾涂中
Advertisement
Advertisement

发表于 2012-7-3 13:28 |显示全部楼层
此文章由 libra_wei 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 libra_wei 所有!转贴必须注明作者、出处和本声明,并保持内容完整
这要看楼主的背景.如果有数据库方面的经验,建议从数据建模开始学习,学好了数据建模,才能理解数据仓库是什么东西.如果楼主没有数据库的经验,那我建议从你们公司的报表系统开始学习.渐渐了解如何处理报表数据,进而开始关注数据从何而来, 也就是学习你们公司的ETL. 但无论从哪里入手,数据建模永远是BI的基础. data warehousing --- ETL --- reporting每一块都有N本书可以看. 你们公司的数据库是什么平台? MSSQL, ORACLE 还是什么?

评分

参与人数 1积分 +4 收起 理由
忽然一周 + 4 感谢分享

查看全部评分

发表于 2012-7-3 13:30 |显示全部楼层
此文章由 oscarii 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 oscarii 所有!转贴必须注明作者、出处和本声明,并保持内容完整
我知道很多做BI拿着一小时几百块钱的人连select都不会写。。

评分

参与人数 1积分 +1 收起 理由
忽然一周 + 1 你太有才了

查看全部评分

发表于 2012-7-3 14:34 |显示全部楼层

回复 libra_wei 2# 帖子

此文章由 忽然一周 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 忽然一周 所有!转贴必须注明作者、出处和本声明,并保持内容完整
是oracle的,是个demo数据库,真正客户的生产数据我们也没有,公司是做生产型企业ERP的,我们公司专门做DW这一块的一个local,上周跳槽去了SAP,估计薪酬非常诱人
我怕的就是每块都有N本书可看,花很多时间被理论给搞晕
曳尾涂中

发表于 2012-7-3 14:45 |显示全部楼层
此文章由 henda 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 henda 所有!转贴必须注明作者、出处和本声明,并保持内容完整
建议看本入门级
Appress building a data warehouse with example in ms sql - ralph kimball concept.

下载 adventureworks BI example, 在家玩玩。

不管平台是什么,dw 的概念不会相差太远。

bi reporting 只要明白了data structure 基本上不会有太大困难。

先搞清楚 star schema, snowflake schema, 再来明白 master data, dimension, fact table 的差别,然后搞一搞 ETL 里的 normalization, 3NF, 2NF,还有 scd 1,2,3,6。 基本上你就可以自己盖个小的 dw 了。



有需要帮忙往死里问,一个人学习 dw 太闷了。。。

[ 本帖最后由 henda 于 2012-7-3 14:47 编辑 ]

评分

参与人数 2积分 +7 收起 理由
chenpu + 4 感谢分享
忽然一周 + 3 你太有才了

查看全部评分

发表于 2012-7-3 15:12 |显示全部楼层
此文章由 忽然一周 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 忽然一周 所有!转贴必须注明作者、出处和本声明,并保持内容完整
那我先问一个问题,请问如何看待Pentaho的,它是免费的,但好像没看谁讨论过它,它跟商业BI的区别定位在哪里?
Advertisement
Advertisement

发表于 2012-7-3 15:43 |显示全部楼层
此文章由 失眠的羊羊 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 失眠的羊羊 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Mark 一下, 我是个database developer, 日常工作主要是ETL automation的开发, 最近也想学学BI方面, 大家一起交流心得:)

发表于 2012-7-3 15:46 |显示全部楼层
此文章由 babyinair 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 babyinair 所有!转贴必须注明作者、出处和本声明,并保持内容完整
这里数据仓库有用hadoop/hbase的吗

发表于 2012-7-3 15:51 |显示全部楼层
此文章由 workflow 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 workflow 所有!转贴必须注明作者、出处和本声明,并保持内容完整
原帖由 oscarii 于 2012-7-3 13:30 发表
我知道很多做BI拿着一小时几百块钱的人连select都不会写。。

挺正常的,那些做data mining,做分析Model的很多都不会写SQL,顶多用工具拉个Query出来

发表于 2012-7-3 16:00 |显示全部楼层
此文章由 henda 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 henda 所有!转贴必须注明作者、出处和本声明,并保持内容完整
我没用过pentaho,貌似不错!

刚找了一些资料。

1.) Platform
SQL server doesn't run on Unix or Linux so they are automatically excluded from this market. Windows is about the same price as some versions or Unix now. Windows is pretty cheap and runs faily well now. It gives me about as much trouble as Linux.

2.) OLAP
Analysis services was reinvented in 2005 (current is 2008) over the 2000 version. It is an order of magnatude more powerful over 2000. The pentaho (Mondrian) is not as fast once you get big. It also has few features. It is pretty good but there are less in the way of tools. Both support Excel as the platform which is esscential. The MS version is more robust.

3.) ETL
MS - DTS has been replaced with SSIS. Again, order of magnatude increase in speed, power, and ability. It controls any and all data movement or program control. If it can't do it you can write a script in Powershell. On par with Informatica in the 2008 release. Pentaho - Much better than is used to be. Not as fast as I would like but I can do just about everything I want to do.

4.) dashboard
Pentaho has improved this. It is sort of uncomfortable and unfriendly to develop but there is really not a real equiv for MS.

5.) reports
MS reports is really powerful but not all that hard to use. I like it now but hated it at first, until I got to know it a little better. I had been using crystal reports and the MS report builder is much more powerful. It is easy to do hard things in MS, but a little harder to do easy things. Pentaho is a little clumsy. I didn't like it at all but you might. I found it to be overly complex. I wish it was either more like the Crystal report builder or the MS report builder but it is jasper like. I find is to be hard. That may be a preference.

6.) ad hoc
MS - this was the real winner for me. I tested it with my users an they instantly in love with the MS user report builder. What made the difference was how it was not just easy to use, but also productive. Pentaho - is good but pretty old school. It uses the more typical wizard based model and has powerful tools but I hate it. It is an excellent tool for what it is, but we have moved on from this style and no one wants to go back. Same problem I had with logiXML. The interface worked well for what it was but is not really much of a change from what we used 12 years. http://wiki.pentaho.com/display/ ... teractive+Reporting

其实什么 BI tool 都是大同小异。 在做决策时应该要考虑到几个因素:
(1) 最原始的 data 是在哪一个 platform 上。 比如: ERP 用的是 SQL,现在选择了 Pentaho BI tool,那以后决定换 BI tool的时候,是不是需要重新开始 build dw, 因为旧的 dw 只有 pentaho 能用。
(2) 这 dw / BI 是用来干嘛的,只是给 CEO 在 dashboard 上描一描,还是要推广到全企业都能够收益的层面,电脑上, ipad 上,smartphone 上。
(3) 成本, pentaho 肯定赢了, open source, 老板最喜欢。

[ 本帖最后由 henda 于 2012-7-3 16:13 编辑 ]

发表于 2012-7-3 17:33 |显示全部楼层
此文章由 ryu2011 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 ryu2011 所有!转贴必须注明作者、出处和本声明,并保持内容完整
我知道Oracle的BI工具有OBIEE,不过貌似澳洲市场这个职位不是很火
Advertisement
Advertisement

发表于 2012-7-3 17:54 |显示全部楼层
此文章由 raya 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 raya 所有!转贴必须注明作者、出处和本声明,并保持内容完整
会sql,etl,star schema,surrogate key,archive storage再会点script, automation,其实技术上都差不多,工具都大同小异。理解数据和业务更有挑战性。

发表于 2012-7-3 18:42 |显示全部楼层
此文章由 maplelin 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 maplelin 所有!转贴必须注明作者、出处和本声明,并保持内容完整
这个方向钱途挺好的

发表于 2012-7-3 19:10 |显示全部楼层
此文章由 忽然一周 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 忽然一周 所有!转贴必须注明作者、出处和本声明,并保持内容完整
白条,明天来加分

发表于 2012-7-16 11:00 |显示全部楼层
此文章由 henda 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 henda 所有!转贴必须注明作者、出处和本声明,并保持内容完整
原帖由 忽然一周 于 2012-7-3 19:10 发表
白条,明天来加分


理出头绪了吗?

评分

参与人数 1积分 +2 收起 理由
忽然一周 + 2 你太有才了

查看全部评分

发表于 2012-7-16 19:48 |显示全部楼层
此文章由 morgan_ma 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 morgan_ma 所有!转贴必须注明作者、出处和本声明,并保持内容完整
国内八年DW/BI的飘过,来了之后老板直接让我转TM1了

评分

参与人数 1积分 +2 收起 理由
忽然一周 + 2 感谢分享

查看全部评分

Advertisement
Advertisement

发表于 2012-7-16 20:01 |显示全部楼层
此文章由 jands 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 jands 所有!转贴必须注明作者、出处和本声明,并保持内容完整
data warehouse 跟 bi 都是有錢途的工作啊, lz 加油

评分

参与人数 1积分 +2 收起 理由
忽然一周 + 2 我很赞同

查看全部评分

发表于 2012-7-16 23:10 |显示全部楼层

回复 morgan_ma 16# 帖子

此文章由 andyhyh 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 andyhyh 所有!转贴必须注明作者、出处和本声明,并保持内容完整
你现在是做consulting还是自己单干的?

发表于 2012-7-16 23:12 |显示全部楼层

回复 babyinair 8# 帖子

此文章由 andyhyh 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 andyhyh 所有!转贴必须注明作者、出处和本声明,并保持内容完整
好像Telstra在试

发表于 2012-7-17 10:09 |显示全部楼层
此文章由 henda 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 henda 所有!转贴必须注明作者、出处和本声明,并保持内容完整
原帖由 henda 于 2012-7-16 11:00 发表


理出头绪了吗?


没困难就好了。加油!

发表于 2012-7-17 19:47 |显示全部楼层

回复 andyhyh 18# 帖子

此文章由 morgan_ma 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 morgan_ma 所有!转贴必须注明作者、出处和本声明,并保持内容完整
在大学里混
Advertisement
Advertisement

发表于 2012-7-17 22:41 |显示全部楼层

回复 morgan_ma 21# 帖子

此文章由 andyhyh 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 andyhyh 所有!转贴必须注明作者、出处和本声明,并保持内容完整
学校好地方。

发表于 2012-7-19 20:52 |显示全部楼层
此文章由 xji 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 xji 所有!转贴必须注明作者、出处和本声明,并保持内容完整
原帖由 workflow 于 2012-7-3 15:51 发表

挺正常的,那些做data mining,做分析Model的很多都不会写SQL,顶多用工具拉个Query出来


LOL,能展开说说这种正常现象吗?他们总得会写些东西吧,不然怎么mine?怎么摸?拿锄头?

发表于 2012-7-19 21:01 |显示全部楼层
此文章由 TuTuTu 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 TuTuTu 所有!转贴必须注明作者、出处和本声明,并保持内容完整
原帖由 babyinair 于 2012-7-3 15:46 发表
这里数据仓库有用hadoop/hbase的吗

NetApp搞了一个优化Hadoop的平台,NetApp Open Solution for Hadoop.把metadata放在连name node的NAS上, data nodes连FC SAN。也就是说不用本地存储了,所以数据只保存2份而不是默认的3份,看评测似乎性能还不错,而且随着存储量增加读写速率还能呈线性增长?

发表于 2012-9-13 00:09 |显示全部楼层
此文章由 kevinzhang529 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 kevinzhang529 所有!转贴必须注明作者、出处和本声明,并保持内容完整
兄弟也想入BI行,先MARK

发表于 2012-9-13 00:16 |显示全部楼层
此文章由 远东力量 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 远东力量 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Mark
Advertisement
Advertisement

发表于 2012-9-13 00:37 |显示全部楼层
此文章由 Poww 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Poww 所有!转贴必须注明作者、出处和本声明,并保持内容完整
MS BI 的路过

发表于 2012-9-13 01:55 |显示全部楼层
此文章由 fycool 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 fycool 所有!转贴必须注明作者、出处和本声明,并保持内容完整
oscarii 发表于 2012-7-3 13:30
我知道很多做BI拿着一小时几百块钱的人连select都不会写。。

select 可以简单,也可以写的包含复杂的逻辑的clause.....你认为BI的钱好赚,你也去做啊

发表于 2012-9-13 01:59 |显示全部楼层
此文章由 fycool 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 fycool 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Technical其实都没什么的,反正什么都可以outsource, 重要的是Business knowledge - 这个比较难outsource到印度:)

发表于 2012-9-18 16:33 |显示全部楼层
此文章由 oscarii 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 oscarii 所有!转贴必须注明作者、出处和本声明,并保持内容完整
fycool 发表于 2012-9-13 01:55
select 可以简单,也可以写的包含复杂的逻辑的clause.....你认为BI的钱好赚,你也去做啊 ...

你怎么就知道我就不是做BI的呢?

发表回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Advertisement
Advertisement
返回顶部