新足迹

 找回密码
 注册

精华好帖回顾

· 宠物秀-我家帅哥-长耳 (2007-4-18) 笨鼠 · 短遊柬埔寨 (2014-10-2) silvia
· 谈谈我最常搭配的妆容---冬天篇, 附真眼秀 (2009-10-4) tiffany_yuyu · [Karen 健康烘培] 入口销魂,基础 Orange Chiffon。 (2008-8-14) Tiger_Karen
Advertisement
Advertisement
12
返回列表 发新帖
楼主:ccj5124

找数据仓库工作遇到瓶颈 [复制链接]

发表于 2006-1-12 16:34 |显示全部楼层
此文章由 ccj5124 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 ccj5124 所有!转贴必须注明作者、出处和本声明,并保持内容完整
daomeidan1234  在 2006-1-12 04:27 PM 发表:

你说的没错, SQL可以做任何事情.

但是DW不是靠SQL写出来的..   

无论如何, 你总的出报表吧?  前端你用过什么? 不会是在Unix上写Pl/SQL,输出文本后打印吧!!

不知道楼主认为什么是数据仓库 ...


报表只是最后的展示。

规范的报表,我们用jsp做好了界面,用户只需点击日期和查询范围即可出月报周报日报,但是报表结果是我们用存储过程每天晚上计算出来的;jsp是这里面最次要的东西,关键就是了解需求然后编写存储过程。

特殊的报表,在我用sql server作为后台的时候,用了工具brio;在后台是oracle的时候,我的确很土,就是在pl/sql developer里面写查询语句或者写存储过程,结果出来后拷贝到excel里面交给用户。
Advertisement
Advertisement

发表于 2006-1-12 16:47 |显示全部楼层
此文章由 daomeidan1234 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 daomeidan1234 所有!转贴必须注明作者、出处和本声明,并保持内容完整
ccj5124  在 2006-1-12 05:34 PM 发表:

报表只是最后的展示。

规范的报表,我们用jsp做好了界面,用户只需点击日期和查询范围即可出月报周报日报,但是报表结果是我们用存储过程每天晚上计算出来的;jsp是这里面最次要的东西,关键就是了解需求然后编 ...


说到正题上了.  可惜你当时用的是Brio, Brio在australia不很流行.

如果你当时用的是cognos, or BO, 那你就没有这个困惑了.  

By the way,  Brio SQR用过没?  这个也应该有市场的.

关键问题, 楼主在OLAP和Front-end比较缺失了.

如果对DB很自信的话, Data Migration consultant也是很牛的, or Data Cleasing Consultant.

有个公司让我去做oracle上的Data Cleasing的, 具体内容不知道 ,想就是把现有的数据处理一下,倒来倒去吧. 类似你的手工ETL了.

自己感觉干不了, 放弃了. Pay是 55$/hours. 也不错了.

努力努力!

发表于 2006-1-12 16:48 |显示全部楼层
此文章由 典 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 典 所有!转贴必须注明作者、出处和本声明,并保持内容完整
你们说的工具我怎么好多都不懂, 汗一下 ....
我总是用View / Stored procedure / Function 来得到报表, 然后用Crystal/excel/access来呈现报表......

学习学习再学习........................................

发表于 2006-1-12 16:54 |显示全部楼层
此文章由 cattor 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 cattor 所有!转贴必须注明作者、出处和本声明,并保持内容完整
daomeidan1234  在 2006-1-12 04:27 PM 发表:

你说的没错, SQL可以做任何事情.

但是DW不是靠SQL写出来的..   

无论如何, 你总的出报表吧?  前端你用过什么? 不会是在Unix上写Pl/SQL,输出文本后打印吧!!

不知道楼主认为什么是数据仓库 ...



前端只是个形式,不需要由做DW的同志来考虑吧?否则我们程序员的生计又被抢掉一大块了。

另请daomeidan1234同志深入讨论一下DW是怎么产生的,学习学习。
没有图像的签名档,多么凄凉。So...

不知道从什么时候开始,在每一样东西上面都有一个日子,秋刀鱼会过期,肉罐头会过期,连保鲜纸 -- 都会过期,我开始怀疑,在这个世界上,还有什么东西是不会过期的?

发表于 2006-1-12 17:19 |显示全部楼层
此文章由 ccj5124 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 ccj5124 所有!转贴必须注明作者、出处和本声明,并保持内容完整
我不太理解Consultant是做什么的,是不是不用干活,就指指点点,还是什么的...

我感觉就是Consultant要懂得很多产品很多工具,对于不同的企业提供不同的组合方案,不知道我有没有理解错。

dw关键还是在设计,在对业务的理解,这样才能做出对企业决策有用的东西。它可能会采集很多很多数据,所以要考虑哪些需要哪些不需要,包括在未来的应用中的考虑。

cleasing跟Migration应该不一样,cleasing应该指清洗,包括各数据源中日期格式的统一,取舍有用无用数据等等,Migration应该才是倒来倒去,在不同的系统中。

发表于 2006-1-12 17:22 |显示全部楼层
此文章由 西边雨 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 西边雨 所有!转贴必须注明作者、出处和本声明,并保持内容完整
moth  在 2006-1-12 05:11 PM 发表:

hey, you guys,
the person with girl's appearence and woman's mind  is the best,right?


so you would like recommend yourself ?
Advertisement
Advertisement

发表于 2006-1-12 21:10 |显示全部楼层
此文章由 daomeidan1234 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 daomeidan1234 所有!转贴必须注明作者、出处和本声明,并保持内容完整
DW的工具我的移动硬盘上有的。

ETL
DataStage, Metastate, QM.
PowerCenter.
Workbench Warehouse.

OLAP and Front-end
Hyperion (analytic, planning, EAS, EIS, Analyzer, Financial Application,........)
BO
Cognos
Brio

工具确实没用, 我最喜欢琢磨的换是Oracle. 本人愚钝。。

其实任何一个人,只要在这个圈里,都会认识很多搞这个的朋友。弄到这些Software几乎只是个电话而已。

因为对BI/DW彻底失望,所以来澳以后选择跟大牛学校的大牛教授学Data Mining... 觉得这个比较悬乎。。

结果

[ Last edited by daomeidan1234 on 2006-1-12 at 10:10 PM ]

发表于 2006-1-12 21:21 |显示全部楼层
此文章由 cattor 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 cattor 所有!转贴必须注明作者、出处和本声明,并保持内容完整
楼上大哥,请问你是ORACLE专家不?以后有问题可否向你请教?

发表于 2006-1-12 21:23 |显示全部楼层
此文章由 江苏小伙子 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 江苏小伙子 所有!转贴必须注明作者、出处和本声明,并保持内容完整
daomeidan1234  在 2006-1-12 22:10 发表:

DW的工具我的移动硬盘上有的。

ETL
DataStage, Metastate, QM.
PowerCenter.
Workbench Warehouse.

OLAP and Front-end
Hyperion (analytic, planning, EAS, EIS, Analyzer, Financial Application,... ...


你也是学DM的,呵呵,我也是,握手握手,我当时学的是Rough Set Theory。到澳洲来还没有机会用。
沉迷于网球。。。。

发表于 2006-1-12 21:30 |显示全部楼层
此文章由 daomeidan1234 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 daomeidan1234 所有!转贴必须注明作者、出处和本声明,并保持内容完整
江苏小伙子  在 2006-1-12 10:23 PM 发表:

你也是学DM的,呵呵,我也是,握手握手,我当时学的是Rough Set Theory。到澳洲来还没有机会用。


我也是江苏的, 为什么没加我的MSN ?

我搞Emerging Pattern,  简单来说模式识别。

发表于 2006-1-14 22:46 |显示全部楼层
此文章由 cindy2004 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 cindy2004 所有!转贴必须注明作者、出处和本声明,并保持内容完整
ccj5124  在 2006-1-12 15:19 发表:

我不太理解Consultant是做什么的,是不是不用干活,就指指点点,还是什么的...

我感觉就是Consultant要懂得很多产品很多工具,对于不同的企业提供不同的组合方案,不知道我有没有理解错。

dw关键还是在设计 ...


前面看了半天,没看出来楼主以前有dw经验。看到这儿,“关键在设计”,终于明白了,赞一个。
Advertisement
Advertisement

发表于 2006-1-14 23:29 |显示全部楼层
此文章由 ccj5124 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 ccj5124 所有!转贴必须注明作者、出处和本声明,并保持内容完整
cindy2004  在 2006-1-14 11:46 PM 发表:

前面看了半天,没看出来楼主以前有dw经验。看到这儿,“关键在设计”,终于明白了,赞一个。


这位同志,刻薄完了,给点高见吧。

发表于 2006-1-15 03:29 |显示全部楼层
此文章由 Fernando 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 Fernando 所有!转贴必须注明作者、出处和本声明,并保持内容完整
做个广告,数据库的问题去www.itpub.net吧
最好的中文IT论坛,以讨论Oracle为主.
OZ做数据库的市场还真不错,我来了,兄弟们

发表于 2006-1-15 11:24 |显示全部楼层
此文章由 走走看看 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 走走看看 所有!转贴必须注明作者、出处和本声明,并保持内容完整
ccj5124  在 2006-1-12 06:19 PM 发表:

我不太理解Consultant是做什么的,是不是不用干活,就指指点点,还是什么的...

我感觉就是Consultant要懂得很多产品很多工具,对于不同的企业提供不同的组合方案,不知道我有没有理解错。

dw关键还是在设计 ...


DW consultant 做的事比较杂一点, data architect的活计要懂,DBA的活计要懂,DW和BI的工具要要熟,不熟的话至少要知道怎么按项目进行评估,评估多了,用多了就自然熟了,data model, data map, conformed dimensional model, data cleansing都应该知道如何设计和实现.但是DW consultant基本不做developer的工作.其实把详细设计做出来,你拉一批刚出来的大学生都可以开发DW,就是监工的比较累了.

DW是基础,我现在已经不看好它了,转BI比较实在一些.因为要立项得靠投资回报率, DW的回报很高,但是算不出来(我就没看到R. Kimball算出来过),而市场上真正懂 DW设计的实在是太少太少. 大把的DW实际上都是废的,最多只能支持到tactical decision making,绝少能支持strategic decision making的。投资进去了回报出不来,公司就会想了,干吗投呀?找真正会设计的?容易吗?真找到了,拿得出钱来请这帮爷吗?不上10 million的项目就别想了。还是BI实在,看得见的回报,当然你可以说那就是些报表,指标,dashboard, performance management什么的,没有DW就像没得根的孩子。但是它投资少呀。

我为什么提DBA,因为DW设计需要数据库的基础,而一提起数据库,大家就想到DBA,实际上确实 DBA和数据库是两码事,dw跟数据库就更不是一回事了。我原以为楼主是走进了这个误区,仔细一看,才知道我错了。

[ Last edited by 走走看看 on 2006-1-15 at 12:24 PM ]

发表于 2006-1-15 11:02 |显示全部楼层
此文章由 走走看看 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 走走看看 所有!转贴必须注明作者、出处和本声明,并保持内容完整
想到哪说到哪。不系统的,就是为了大家讨论一下。

多谢单衣纵酒,我这就一马甲,咱们有数据仓库的问题在这讨论,你说好不好?

我做过一个dw项目,项目组中没有data modeller, data/BI architect,这个项目仍然很成功。为什么?因为花了$1m买了dw architecture工具,整套的。这个项目是在中国做的。

发表于 2006-1-15 11:06 |显示全部楼层
此文章由 走走看看 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 走走看看 所有!转贴必须注明作者、出处和本声明,并保持内容完整
还没说清楚,这套工具只是用来做dw架构搭建的。其他的工具有: Hyperion, datastage and business objects.
Advertisement
Advertisement

发表于 2006-1-15 14:19 |显示全部楼层
此文章由 走走看看 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 走走看看 所有!转贴必须注明作者、出处和本声明,并保持内容完整
江苏小伙子  在 2006-1-11 10:59 PM 发表:

ETL:Extracting Transforming and Loading.


That's right. But ETL doesn't consist of three steps. It depends on which dw architecture you are using.

发表于 2006-1-15 14:36 |显示全部楼层
此文章由 走走看看 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 走走看看 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Fernando  在 2006-1-15 04:29 AM 发表:

做个广告,数据库的问题去www.itpub.net吧
最好的中文IT论坛,以讨论Oracle为主.
OZ做数据库的市场还真不错,我来了,兄弟们


Another very good DB IT pub, including DW forum: www.oracle.com.cn

I've downloaded a lot of dw books from these two IT pubs. Highly recommended!

发表于 2006-1-22 10:04 |显示全部楼层
此文章由 ccj5124 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 ccj5124 所有!转贴必须注明作者、出处和本声明,并保持内容完整
走走看看  在 2006-1-15 12:24 PM 发表:

DW consultant 做的事比较杂一点, data architect的活计要懂,DBA的活计要懂,DW和BI的工具要要熟,不熟的话至少要知道怎么按项目进行评估,评估多了,用多了就自然熟了,data model, data map, conformed dimensional  ...


说得好。还指明了一个方向。

发表于 2006-1-22 11:05 |显示全部楼层
此文章由 单衣纵酒 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 单衣纵酒 所有!转贴必须注明作者、出处和本声明,并保持内容完整
走走看看  在 2006-1-15 12:02 PM 发表:

想到哪说到哪。不系统的,就是为了大家讨论一下。

多谢单衣纵酒,我这就一马甲,咱们有数据仓库的问题在这讨论,你说好不好?

我做过一个dw项目,项目组中没有data modeller, data/BI architect,这个项目 ...



呵呵,我是系统组的,不是做DW这块的,也就是随便聊而已。

因为公司有一个DWH是Redbrick的,系统层面的架构很糟糕,800G在一个分区上,每逢月末的Archive严重的影响了我的备份,进而影响到了我的容灾测试。

公司新做的一个DWH是Datastage,Profilestage,本来没我啥事,但PM的水平很糟糕,把项目变成系统组为中心,驱动的了,折腾的我成天和一群developer开会,顺便也就看了下。不过这不是我的职业方向,也就是了解下,将来做Architect肯定会有DWH的事,做个铺垫。

发表于 2012-3-22 05:36 |显示全部楼层
此文章由 忽然一周 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 忽然一周 所有!转贴必须注明作者、出处和本声明,并保持内容完整
最近开始接触DW,挖坟挖出这么一个好帖子,楼上各位现况如何了
Advertisement
Advertisement

发表于 2012-3-22 06:41 |显示全部楼层
此文章由 henda 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 henda 所有!转贴必须注明作者、出处和本声明,并保持内容完整
原帖由 ccj5124 于 2006-1-12 17:34 发表


报表只是最后的展示。

规范的报表,我们用jsp做好了界面,用户只需点击日期和查询范围即可出月报周报日报,但是报表结果是我们用存储过程每天晚上计算出来的;jsp是这里面最次要的东西,关键就是了解需求然后编写存储过程。 ...



DW is conceptual, any tools work just fine, what you need to master is either bill inmon's or kimball's methodology, either topdown or bottomup, that matter a lot for the job you are applying, at least in Australia and Europe.

to learn different tools there is always developer version free to download. cognos has free version available online, SQL has express version free for developer, it even has the whole basic bi solution built and ready for download, adventureworks.

organisations are moving to self-sufficient reporting technology, find out cognos reporting server, qlikview, edgeBI from crystal report.

I don't understand how you can develop your own DW tools for reporting, unless it is just a plain simple spreadsheet or bar chart, then a simple table and SQL query data extraction will do the work. For data mining and OLAP you will need tools for optimization, ROLAP, MOLAP, near realtime, data mining algorithm, perspective, linked cubes etc, there is a lot more in DW than just extracting data every night and making sure SCD runs correctly.

if you have no idea how to install BI/DW tools and environments for testing, you are probably not worth a grain of what you called yourself. developing data extraction package is only an ETL developer, not a DW developer.

评分

参与人数 1积分 +4 收起 理由
忽然一周 + 4 感谢分享

查看全部评分

发表于 2012-3-22 07:27 |显示全部楼层
此文章由 raya 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 raya 所有!转贴必须注明作者、出处和本声明,并保持内容完整
原帖由 daomeidan1234 于 2006-1-12 22:10 发表
DW的工具我的移动硬盘上有的。

ETL
DataStage, Metastate, QM.
PowerCenter.
Workbench Warehouse.

OLAP and Front-end
Hyperion (analytic, planning, EAS, EIS, Analyzer, Financial Application,........)
BO
C ...

为什么data mining结果是靠靠靠?

发表于 2012-3-22 07:47 |显示全部楼层
此文章由 maplelin 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 maplelin 所有!转贴必须注明作者、出处和本声明,并保持内容完整
久违了,数据仓库

发表于 2012-3-22 07:52 |显示全部楼层
此文章由 workflow 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 workflow 所有!转贴必须注明作者、出处和本声明,并保持内容完整
06年的贴子

发表于 2012-3-22 11:23 |显示全部楼层
此文章由 蓝咖啡豆 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 蓝咖啡豆 所有!转贴必须注明作者、出处和本声明,并保持内容完整
Luckily to see this precious BBS thread of 2006, as I completely had no idea on Chinese discussion board back then… 有幸看到一篇老牌ID们专业畅谈的历史纪录,外行觉得:
1.        工具上聪明胆大点都不是瓶颈吧;
2.        在Dr. Codd定义的领域吃饭,规模效应下,好像都可以衣食无忧?
3.        朋友的相识还是有些共性的, 呵呵
Advertisement
Advertisement

发表回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

Advertisement
Advertisement
返回顶部