淘宝开放平台的遇到的技术问题(2)

　　5. 松散Master-Slave任务分治框架抽象(ISV应用监控，日志分析)

　　当前开放平台分析日志采用松散模式的分布式任务分治框架，但由于将MapReduce的处理过多的融入到了分布式分治框架中，导致现在ISV应用监控集群在复用框架的时候不能很好地扩展，只能部分重用底层通信及部分的交互协议，因此了将来大量的分治协作处理场景，需要抽象出与任务处理不相关的框架，同时支持任务来源及工作者处理结果模式(也许本地就完成存储，而不是到Master Reduce)，同时自身的容灾及稳定性和任务分配算法需要有更多的优化和措施。

　　安全：

　　网站应用和桌面应用安全扫描

　　对网站应用的回调地址做钓鱼扫描及对桌面应用作二进制扫描，是开放平台对应用安全性的最基本的要求，但是实施难度很大。需要有对安全有较为深入的同事参与完成。

原文转自：http://www.ltesting.net