Lambda architecture on Azure or AWS

YugaYuga

不知道足迹坛有没有这方面的藏龙卧虎？ 想拜个山头。

ysihaoy

楼主被aws的sales洗脑了？

YugaYuga

ysihaoy 发表于 2017-5-26 13:58
楼主被aws的sales洗脑了？

啥意思？ 你带着那么大的眼镜还近视？

Lambda architecture on Azure or AWS

melmonash

进来学习

td990

Lambda 就是听着好听而已，如果你大量使用就有很大潜在问题，它的throttle是per account per region.
也就是说如果你有10个service 在跑，他们互相是影响的，一个service hit the limit 所有的lambda services都受影响，而且如果你的call 很频繁的花也不一定比你run ec2便宜。

ysihaoy

td990 发表于 2017-5-26 16:47
Lambda 就是听着好听而已，如果你大量使用就有很大潜在问题，它的throttle是per account per region.
也就 ...

developer觉得用了lambda自己就是devops了

coin_king

这不就是Azure Functions 嘛，有什么特别的？

YugaYuga

楼上的几位除了戴着超大号眼镜的，我就不一一点名了，麻烦看清了主题再发表感言。

我问的是Lambda architecture on Azure or AWS
跟AWS Lambda除了都有lambda这个字之外没有任何关系。

继续等高人现身、或站内短信联系。

---------------------------

Lambda architecture is a data-processing architecture designed to handle massive quantities of data by taking advantage of both batch- and stream-processing methods. This approach to architecture attempts to balance latency, throughput, and fault-tolerance by using batch processing to provide comprehensive and accurate views of batch data, while simultaneously using real-time stream processing to provide views of online data.

AWS Lambda is a serverless compute service that runs your code in response to events and automatically manages the underlying compute resources for you.

cppbug

你的产品需求是什么

purplechilli

YugaYuga 发表于 2017-5-26 20:26
楼上的几位除了戴着超大号眼镜的，我就不一一点名了，麻烦看清了主题再发表感言。

我问的是Lambda archite ...

完整的具体框架我没有，关于数据处理 服务这边有一些实例
有兴趣可以加我 大家一起讨论讨论，集思广益

（lambda那边我没看混，大概知道你想要啥 ）

nuptwg

被ops毙掉的东西适合小规模的玩票

gooderic1977

我们公司在处理analytics data的时候算是应用了Lambda Architecture吧。
举个例子,page clicks处理的整个过程：
1. page clicks 被采集后，先batch再stream到Kinesis
2. page clicks抵达Kinesis后触发data enrich lambda function, 比如通过IP address获得用户的地区信息，通过user agent来获得client信息等等, 数据enrich完成后返回Kinesis
3. 接着由Kinesis Firehose来完成data-ingestion，上传数据至S3,并导入redshift
4. 最后一步，就是data aggregation. page clicks数据被处理成可以直接query的analytics data. (这一步我们还没有完成，因为人手不足，所以现在直接使用postgresql 做live query)

YugaYuga

gooderic1977 发表于 2017-5-30 15:27
我们公司在处理analytics data的时候算是应用了Lambda Architecture吧。
举个例子,page clicks处理的整个过 ...

不好意思，回帖有点晚。

Lambda Architecture的主要特点之一是同时兼顾streaming data和batch data, 另外就是基于bigdata。

你提到用PostgreSQL query 收集的数据，听起来用的仍然是RDBMS？

YugaYuga

只好自言自语了 ....

Microsoft Cortana Intelligence Suite (Previously Cortana Analytics Suite)不知有谁用。
https://www.microsoft.com/en-au/ ... -intelligence-suite

刚和MS的consultants谈过。Cortana Intelligence Suite 的底层框架就是基于Lambda Architecture。
AWS目前似乎没有和Cortana Intelligence Suite 对等的产品。

sun2012

网上一堆相关资料

How SmartNews Built a Lambda Architecture on AWS to Analyze Customer Behavior and Recommend Content
https://aws.amazon.com/blogs/big ... -recommend-content/

Lambda Architecture for Batch and RealTime Processing on AWS
https://d0.awsstatic.com/whitepa ... n-for-batch-aws.pdf

Building a Lambda Architecture in AWS for Big Data
https://blog.corpinfo.com/buildi ... in-aws-for-big-data

上面都是在2015和2016写的，还有很多，MS Cloud做的不错，但相比AWS还有距离

AWS的产品几天一变，睡一觉起来又多了几个产品

YugaYuga

sun2012 发表于 2017-6-24 14:11
网上一堆相关资料

How SmartNews Built a Lambda Architecture on AWS to Analyze Customer Behavior and  ...

好，总算等来一个能说上几句的~~  

我对AWS和Azure并不陌生，更不缺How-to类的技术资料。

Cloud computing很大很广。很难对每一个方面都有具体的使用经验。
Lambda Architecture在实际应用中会牵涉很多层面的东西。发这个贴是想听取一下有这方面实际应用的人的【经验之谈】。

Azure“相比AWS还有距离”，目前来说总体是这样 ，以前有个贴有过讨论：
https://oursteps.co/ ... =1161222&page=1

但 Azure也有比AWS 强的地方，特别是跟Data analytics有关的。个人认为AWS更适合DIY, Azure借助于微软的先天优势，在企业级应用的市场份额超过AWS应该只是个时间问题。

ろげん

YugaYuga 发表于 2017-6-24 14:43
好，总算等来一个能说上几句的~~   

我对AWS和Azure并不陌生，更不缺How-to类的技术资料 ...

Auzre在AI层面做的也非常好