精华好帖回顾
· 最爱的饭后甜点-- Creme Brulee (2010-2-12) 胡须康	· 幼儿园初体验 (2007-2-4) poloand
· 终于松了口气-----拿到会计OFFER了 (2005-4-19) leilliy	· Berkeley compost 反应堆——18天堆肥 (2019-11-26) Sharpening

查看: 3503|回复: 10

一个关于AS400 DB2/400 SFTP XCOM和DataStage的故事 [复制链接]

发表于 2013-4-16 21:17 |显示全部楼层

此文章由 jl162401 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 jl162401 所有！转贴必须注明作者、出处和本声明，并保持内容完整

4个月以前我方请一家印度主流IT外包公司写一个数据抽取程序主要是提供给数据仓库使用的

源系统是一个非常古老的系统，估计很多小朋友都没有用过 AS/400 后台数据库是DB2/400

我方系统是IBM AIX，后台数据库是Teradata，IBM AIX实际是一台ETL服务器上面跑dataStage

起初我方希望印度公司能够抽取源系统数据然后进行EBCDIC to ASCII转码然后通过XCOM或者SFTP传输到IBM AIX上

印度公司实验了将近两个月时间抽取了两个表然后卡在数据传输上
600MB的文件竟然传了将近6个小时用的是CA的软件XCOM，HP帮忙进行Tunning 未果
我方配合查询网络是否有问题 Telstra测试后说网络飞速肯定是应用层的问题

于是我方建议使用SFTP 印度哥哥说不会用需要HP来帮忙安装
HP说N多年前装过一次现在装至少需要两个星期
结果我和一个巴基斯坦的哥们一个下午给装好了
HP不爽了说以后这活都归你们来干
我方只好赔礼道歉说下次下次一定走流程希望HP可以好好学习一下我方经验因为依赖他们配置生产系统

测试结果表明SFTP速度可以 180M文件仅仅用了1分钟传输严重说明CA的XCOM/400是多么的垃圾。

一切都测试成功准备开始大规模抽取了一共有64个表，印度公司给我方提供了项目计划和cost
是一个天文数字需要4个月完成我老板看了之后失去耐心说Fxxx off，不用你们了我们自己干

新方案是直接用DataStage连接DB2/400，结果非常非常有意思这也是我发此贴的初衷希望能分享和交流一下

我方（巴基斯坦和印度两个穆斯林哥们）一天建立了两个系统的链接成功抽取一个表
第二天抽取了9个表完成其他51个表的任务
9个表总共8GB，用时45分钟这已经包括了数据抽取+数据转换+数据传输

写完这些不知道该说什么了所有人都希望按部就班来责任分清源系统归源系统我方绝不参与我也是如此观点
但这个事情会带来蛮多思考，什么方式才是对的短期的长期的
到目前为止包括我在内都不support这么干因为我方要承担数据准确度和时效性的责任
但这么做确实是大大缩短了项目时间

评分

参与人数 1	积分 +2	收起理由
典	+ 2	你太有才了

查看全部评分

Fernando

金靴族

发表于 2013-4-16 21:23 |显示全部楼层

此文章由 Fernando 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Fernando 所有！转贴必须注明作者、出处和本声明，并保持内容完整

呵呵，印度公司承诺的时候什么都是yes，干活的时候人都找不到，居然拿junior来糊弄senior的职位，别说真的干活了

Fernando

金靴族

发表于 2013-4-16 21:23 |显示全部楼层

此文章由 Fernando 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 Fernando 所有！转贴必须注明作者、出处和本声明，并保持内容完整

我觉得这都是管理问题，澳洲人太好骗了

wonderdream

草鞋族

发表于 2013-4-17 12:18 |显示全部楼层

此文章由 wonderdream 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 wonderdream 所有！转贴必须注明作者、出处和本声明，并保持内容完整

This is the mentality difference between large company and small to medium company, government/non-profit company to private company, high growth company to risk free company.

The former prefer risk free. If you do the job well, that is expected. But if you screwed up, you are out. That's why the manager doesn't want to make it efficient.

The latter is willing to take risk as long as it proves ROI and fits the company culture. Unfortunately, not many medium to large end user company (exclude software dev and consultancy compnay) in AUS like this.

a

jaszhou

铜靴族

发表于 2013-4-17 12:31 |显示全部楼层

此文章由 jaszhou 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 jaszhou 所有！转贴必须注明作者、出处和本声明，并保持内容完整

AS/400应该算小型机吧？DB2/400没用过，不知道和z/OS有什么差别。不过用的编码是EBCDIC的话，和Mainframe的一致。用FTP把文件从zOS传到pSeries应该会自动进行编码转换。把数据库的数据导出到文件应该也不难。如果这要花四个月的话真是太不靠谱了。

飞飞鱼

金靴族

发表于 2013-4-17 13:39 |显示全部楼层

此文章由飞飞鱼原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者飞飞鱼所有！转贴必须注明作者、出处和本声明，并保持内容完整

do right thing 和 do thing right的问题。

jetty

银靴族

发表于 2013-4-17 19:19 |显示全部楼层

此文章由 jetty 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 jetty 所有！转贴必须注明作者、出处和本声明，并保持内容完整

做的太快了也不好。
别人要四个月，你可以估算一下老板的心理底线，他如果估算2个月，你一个月做好不是皆大欢喜吗。实验，计划，严格验证，文档按部就班做。做那么快干嘛。

就跟去看病道理一样。你要是三天做好了，万一出问题说不定你还有责任。一个月做好，测试验证都做了，出问题那是系统复杂性的问题，不是国军不给力，实在是共军太狡猾了，找责任也是在公司在决策层，不在你这儿。