稍微谈谈SQL

juebuhaigui

这里都是从IT的角度讲SQL。 我们做经融风险分析的更多从Business的角度想问题。

nali

小V老师 发表于 2014-6-17 12:02
有点扯歪了，开这个贴其实是想帮助新手尤其是商科数学类专业的了解下IT中的SQL， 不过很多回复是来自IT的 ...

谢谢指导。

Bessy

juebuhaigui 发表于 2014-6-17 19:29
这里都是从IT的角度讲SQL。 我们做经融风险分析的更多从Business的角度想问题。 ...

SQL就是关系数据库的查询语言，100%属于IT领域。 经融风险分析应该考虑是通过概率， 统计， 数据挖掘的角度建立数学模型吧？

juebuhaigui

是的， SQL只是我们诸般兵器中的一种。 要进行有效的分析， 要精通数据结构， 和公司的运作。

juebuhaigui

做这一行你的周围都是问商业问题的， 你是解答的提供证据的。 没有人问你这个怎么做， 那个怎么计算， 这类问题是学校里老师爱问的。

Bessy

juebuhaigui 发表于 2014-6-17 20:12
是的， SQL只是我们诸般兵器中的一种。 要进行有效的分析， 要精通数据结构， 和公司的运作。 ...

"数据结构"是 data structure 么? 就是链表，堆栈，队列,二叉树？
看来Computer science与金融分析的距离。比CS与IT的距离更近啊。

小V老师

Bessy 发表于 2014-6-17 20:19
"数据结构"是 data structure 么? 就是链表，堆栈，队列,二叉树？
看来Computer science与金融分析的距离 ...

他的数据结构不是CS里面的数据结构，他指的就是懂数据库里面的表，知道哪些表有哪些数据。

做商业分析就是我上面说到的第二层和第三层的内容，首先，提出商业问题，最重要的是做出合理假设，SQL不是最关键的，但SQL 和 EXCEL是最重要的工具，有时EXCEL更重要点，很简单，因为做商业分析的大多来自MBA，他们很多SQL也不熟，牛点的自己会写SQL，不牛的一辈子就搞EXCEL。但牛不牛不是看他会不会SQL，而是他的眼光是否合理，关键是逻辑是否清晰

商业分析师和IT工程师，很多时候思路是两个方向的，所以比IT的懂市场，比做市场的懂IT，这本身就是比较难的一件事

小V老师

在做商业分析的人眼中，技术只能占20%的重要性，因为商业问题回答的好坏，本质上是在于你的假设是否合理，你的逻辑是否OK，这个行业最典型的是咨询顾问，不是那种IT咨询顾问，类似麦肯锡那样的，麦肯锡工作几年后基本去公司都至少是senior manager for business analytic team.

这行我见过的人基本特点是：
1. 超级聪明
2. 思维反应特别快，有种跟计算机对话的感觉

没有这2个特征的，一般不会很牛

所以层次是这样的，底层是搞IT的，往上走是搞数据的，搞数据是为了为商业问题提供决策，再往上走是搞运营的，搞运营本质就是给公司做策略的，也就是所谓的business user。 做数据分析，应该是承上启下的作用，取决于你到底要干嘛

Bessy

小V老师 发表于 2014-6-17 21:22
他的数据结构不是CS里面的数据结构，他指的就是懂数据库里面的表，知道哪些表有哪些数据。

做商业分析就 ...

谢谢解释， 怪不得看的我一头雾水。

你们的数据结构，SQL, Hadoop, NoSQL. 只是与我们搞IT的名字一样内容有很大差异。

就如同建筑工程师的和IT工程师讨论架构， 设计模式一样。

innerwest

你们的工作中有用到Unix shell-scripting， python写脚本之类的吗？

maplefire

先mark再学习

小V老师

innerwest 发表于 2014-6-18 13:40
你们的工作中有用到Unix shell-scripting， python写脚本之类的吗？

我会用，但很多BA根本不会用，对他们来说，取数不是最重要的，最重要的是思维逻辑，以及是否能回答商业问题


这本身是一个问题的两面，关键是你看重啥，会IT的技术会极大增加效率，举个例子，现在做会计的，基本都要懂EXCEL，但EXCEL肯定不是最根本的技能，做会计最重要的技能还是懂会计的那些知识，只不过如果你会EXCEL，能给你工作带来很大的方便性。

做商业分析，数据分析也是这么回事，会写脚本不代表你就能做好商业分析，但会写脚本肯定会增加你的效率，使得你的工作高效，同时也能带来意想不到的作用，甚至有些你觉得本身无法解决的问题，变得那么的容易，尤其是一些自动化报表的工作，懂IT和不懂IT其实差别很大的。对于只需要回答商业问题，甚至取数都有人帮你做的BA来说，懂不懂IT不是最必要的

Bessy

楼主， 商业分析（BA），数据分析(DA)可不是一回事， 不编程的BA很多。 不编程的DA比较少， DA不懂脚本语言，R语言, SAS..不多。

这么多做数据分析和做IT的进来歪楼，可能是因为楼主第一楼写的"做数据做了很多年，跟大家聊聊SQL"。如果LZ写“做BA做了很多年，跟大家聊聊我用到的SQL”。 楼就不会被做数据和IT的给歪掉了。 （只是个人建议，因为隔行如隔山）

innerwest

多谢楼上两位分析。IT比accounting 难多了，所以DA转BA容易，反过来很难。问题是哪个工资更好些，哪个更容易找工。

小V老师

innerwest 发表于 2014-6-18 17:20
多谢楼上两位分析。IT比accounting 难多了，所以DA转BA容易，反过来很难。问题是哪个工资更好些，哪个更容 ...

在大公司，同一个级别，做IT的要比同级的做数据的平均工资要高
在澳洲，做IT的工作机会比BA也要多


但是：

从潜力来说，做BA的因为比较容易接触商业，职业发展是往COO发展的，做IT的职业发展是往CTO发展的，前者的工作跟人打交道更多点，因此发展比较快，BA跳槽在国内经常是每年20-30%的涨薪，而IT相对依赖技术，程序员的生命周期相对有限，很多35岁以上的IT会比较困惑自己的职业生命。BA呢，因为能接触到商业，再加上数学上的方法论变化也不像IT那么大，所以生命周期比程序员长，经验是累积的，不像程序员，经常需要更新自己的知识库，IT一旦落伍了找工作就困难了。 在美国，虽然有很多4,5十岁的程序员依然做的好好的，但不可忽视的是，在美国也有很多4,5十岁的程序员一旦失业就再也找不到工作了，这是血淋淋的事实。

我当初花了很多精力转BA，虽然工作中也经常和IT打交道，但我的感受是，做BA我内心充满对未来的期望，跟做IT不同，做IT天天和代码打交道，虽然说待遇不错，但内心有惶恐的地方，在美国的时候，我确实遇到很多程序员到了35岁就彻底放弃写代码了，有个人当时从家里的亲戚厂里进货到美国卖，还有个女的也是IT，后来找了一份邮递员的工作

当然，硅谷赚钱的也不少，程序员这个行业的职场生命，真的是因人而异的，比如阿里巴巴28个合伙人中，21个是有技术背景出生的，这些技术背景就是IT，就是当初的JAVA程序员，国内的很多IT老大，当年也是程序员。做IT这行总的来说是风险和机遇并存，所以做IT确实要思考下自己的职业方向到底是啥。

小V老师

Bessy 发表于 2014-6-18 15:54
楼主， 商业分析（BA），数据分析(DA)可不是一回事， 不编程的BA很多。 不编程的DA比较少， DA不懂脚本语言 ...

DA 和 BA在很多公司是一回事， BA主要做做reporting 以及 ad-hoc task， DA其实也在做同样的事，这两件事之上是做些模型，做模型的很多title 也是 senior business analyst，当然也有些title 是data scientist or data mining analyst. 大多数BA或者DA的专业背景都是统计或者MBA， 在国内，一般喜欢招那种IT+ 统计背景的刚毕业的学生，在美国一般喜欢招统计背景+MBA背景的，title都是business analyst 或者 data analyst.

总之，国外喜欢招偏MBA的，国内喜欢招偏IT的，基础最好都有些统计背景

zheng8001

小V老师 发表于 2014-6-17 21:35
在做商业分析的人眼中，技术只能占20%的重要性，因为商业问题回答的好坏，本质上是在于你的假设是否合理， ...

完全同意。这帖子确实被歪楼了。。对于做数据分析的来说，技术根本就是不是重点，那些技术也属于IT部门和Data Warehouse，DBA的主要工作，如果需要超级复杂的SQL的话，只能说明那家公司的Data Warehouse没有建好。BI Analyst和BI Developer是完全不同的两个工作。

数据分析应该能强调的是“分析”，对于市场，商业的理解是基础，然后各种统计学的知识也很重要。SQL只是工具，比Excel更强大的一种工具，但都是建立在成熟的DW基础上的。

本人也在做数据分析，公司的BI team里大部分都是数学和金融专业毕业的，但他们SQL很快就上手了。他们用数据分析business的方法才是值钱的地方。至于DW和BI那些Admin都是在海外的，我们也不用考虑什么性能问题了

Janet

小V老师 发表于 2014-6-16 13:35
一般出变态考题的教官本身也没啥水平

做数据分析这行，技术顶多占20%，思维逻辑和对数据的激情才是80%的内 ...

太同意了， 我就是对数据有兴趣， 才特别转来做数据分析。

Janet

我算是IT的SQL转DA的SQL典型。 DA组里面大部分不是IT背景， 主要是统计背景， R， SAS 之类的是主要的工具；当客户问你一个问题， 例如每天上午10-12点钟去wooli买东西的是什么人？ 你要根据客户需要，取有用的数据， 给出答案， 比较好的分析当然给客户明确的回答， 全面而有效。因为是IT转过来， 我越来越发现如何用清晰有效的报表， 图标展现出客户的答案比SQL技术本身更有帮助。我想这就是LZ说的商业价值吧

etangzhang

mark

Bessy

Janet 发表于 2014-6-18 22:54
我算是IT的SQL转DA的SQL典型。 DA组里面大部分不是IT背景， 主要是统计背景， R， SAS 之类的是主要的工具 ...

请教一下，如果我要保持这个商业价值或者说下周我还希望他们来wooli而不是coles.

数据都有了，现在，帮我分析一下，我要推荐什么产品到他们的信箱呢，请介绍一下你的数据分析过程？你们用什么方法判断你的分析结果是否有效，如果报告里有哪个店要配多少货就更好了，这样货物就不用大量的从一个店转到另一个店了？

小V老师

Bessy 发表于 2014-6-18 23:10
请教一下，如果我要保持这个商业价值或者说下周我还希望他们来wooli而不是coles.

数据都有了，现在，帮 ...

请教一下，如果我要保持这个商业价值或者说下周我还希望他们来wooli而不是coles.

数据都有了，现在，帮我分析一下，我要推荐什么产品到他们的信箱呢，请介绍一下你的数据分析过程？你们用什么方法判断你的分析结果是否有效，如果报告里有哪个店要配多少货就更好了，这样货物就不用大量的从一个店转到另一个店了？


-------------------------------------------------
你这里面涉及到很多个知识，一般能解决你的问题的，已经是个企业级的咨询项目了


第一，你要建立消费者的客户CRM模型，换句话说，你需要判断消费者所处的生命周期阶段，比如他是新客户还是老客户，是即将离去的客户还是常规客户。 做business analyst一般通过取数，是可以按照一定的逻辑来classify客户的，比如按照他过去的购买记录，按照上次的购买时间，做些定义，然后来定义消费者，当给消费者打好标后，你就知道他下次大致还会不会来你的店，大致什么时候会来。这些判断，是基于一个商业逻辑的定义，比如定义再也不会来你店的消费者为过去9个月没有来店里消费过，这说明这个消费者已经流失了，为什么定义9个月？这就是一个商业假设，关键是假设是否可以被接受以及合理。


当然了，当你数据足够多的时候，你可以提取消费者的特征，以及通过response variable，建立一个churn customer model。 这里面一般是应用数据挖掘的一些技术，一般都是一些分类模型，本质上就是从你海量客户中提取那些会流失的客户的特征。



第二，你的报告要知道哪个店配多少货，事实上设计的是一个销量预测的问题，首先，要预测整体的销量是多少，然后再预测区域（店铺级别的销量），从电商角度，比较初略的计算方法是，计算每个店的流量（人数），产品的转化率（假设稳定），至于流量和转化率如何计算，可以通过历史数据获取。但通常单品级别的销量预测都是波动非常大的，只有参考意义，没有实际操作意义。但一般周期性是可以被观察到的，这对知道控货和供应链也非常重要。

这个步骤也能通过建模实现，取决于你的数据量的大小，但一般的BA就是计算下核心指标然后算一下就好了。所以，对于中小企业，数据量也不大，都是通过BA来计算一些他们认为合理的指标，所谓的KPI设计是很多咨询公司的常见项目。



第三，推荐到什么产品到他们家，这涉及到一个个性化的项目。个性化需要你有用户级别的数据，比如他来你们店，看过哪些商品，一般是什么品牌什么类目的，以及这个用户的profile，年龄多大，性别是男性还是女性，偏好什么风格的，这些都可以通过历史的行为来猜测出，至于数据怎么来，电商上，这些数据就是用户的行为数据，也就是为啥要用大数据，传统行业这种数据很难获得，我认识国内有个家伙创业，就是打算做视频摄像头，然后用软件分析出到店用户观察的产品，然后变成结构性数据，卖给商家，这里面涉及到视频分析的部分，目前还没有成功的企业，一旦成功，绝对是个成功的公司。这是O2O结合的典范。

一个你看起来简单的问题，其实涉及不同的技术知识，这样一道题考面试者其实很有效，可以很清楚了解这个面试者的一些情况

最后，我为什么说互联网是新的生产力，从以上三点看，如果你是传统行业，上面很多数据很难获取，互联网企业最大的好处是获取数据相对传统企业容易太多了，马云说已经从IT到了DT时代，很多人不信，但我信，迟早很多行业会被革新掉，现在国内的服装企业已经有了阵痛，正在往数据方向转呢，因为他们非常需要了解消费者的需要。

小V老师

Janet 发表于 2014-6-18 22:54
我算是IT的SQL转DA的SQL典型。 DA组里面大部分不是IT背景， 主要是统计背景， R， SAS 之类的是主要的工具 ...

这个分析就是个取数分析，其实算不上分析，无非是根据需求取数


分析是需要有自己的商业假设的，你这儿要看某个时间段买的最多的商品，一个SQL就搞定了，没有自己的商业假设，没有分析的过程，算是比较初级的分析，就是个取数

Bessy

小V老师 发表于 2014-6-18 23:57
请教一下，如果我要保持这个商业价值或者说下周我还希望他们来wooli而不是coles.

数据都有了，现在，帮 ...

谢谢这么详细的描述，反应慢还是一点一点学习， 就第一个问题 "我要推荐什么产品到他们的信箱呢"， 假设已经有了信息。 怎么分析推荐什么产品呢， 你们分析的时候，是建立,graphical model  还是 Statistical model,还是...？ 你们常用那种模型？怎么验证建立的数据模型？

mr_hyn

zheng8001 发表于 2014-6-18 22:25
完全同意。这帖子确实被歪楼了。。对于做数据分析的来说，技术根本就是不是重点，那些技术也属于IT部门和 ...

看了这个回复，终于明白楼主想表达什么了。牛人！！

小V老师

Bessy 发表于 2014-6-19 00:15
谢谢这么详细的描述，反应慢还是一点一点学习， 就第一个问题 "我要推荐什么产品到他们的信箱呢"， 假设 ...

你的问题太大而且很多细节，而且我回答了你这个问题后又会一堆问题，个性化的算法很多的，看应用场景，有没有用户行为数据做法完全不同。 至于验证，一般是AB TEST, 用传统的方法和用了算法的方法，比较下效果，比较个几天，看看是否有显著改进

shareddesk

小V老师 发表于 2014-6-18 23:57
请教一下，如果我要保持这个商业价值或者说下周我还希望他们来wooli而不是coles.

数据都有了，现在，帮 ...

感觉如果不是从事这块的，30岁以上想找机会转入做这些，好像不太可能了

Bessy

小V老师 发表于 2014-6-19 00:26
你的问题太大而且很多细节，而且我回答了你这个问题后又会一堆问题，个性化的算法很多的，看应用场景，有 ...

细节决定成败，深入到细节才能学到东西。就说你感觉最成功的案例。

请问，你们用“graphical model  还是 Statistical model”，建立几个model? 都是什么model? 另外，A/B test是好的验证model的方法么？

小V老师

Bessy 发表于 2014-6-19 07:19
细节决定成败，深入到细节才能学到东西。就说你感觉最成功的案例。

请问，你们用“graphical model  还 ...

模型的最大区别在于参数，这是需要不停调试的，否则大公司的模型组就One time work好了，方法论也会不断更新组合寻找最佳的

ab测试当然有好的结果，只不过你做多了，后面改进越来越困难，几乎所有的新功能都需要ab测试，像facebook每天跑几千个ab测试，有中性的也有显著改进的，甚至有消极改进的

至于你需要非常具体的案例，一来限于篇幅没法几句话讲清，二来也是公司秘密，不可能讲。

Bessy

小V老师 发表于 2014-6-19 08:39
做个性化一般是协同过滤，以及一些分类预测模型，很多数据输入也是模型输出，比如用户分类可能是这个模型 ...

“事实上模型的最大区别在于参数”
能简单谈谈哪几种模型之间的最大区别是参数么？哪（几）个参数变化了，就会从一个模型到另一个模型？