点击上方 免费订阅（学习）
1月7日，新年以来实施还未超过一周的“熔断机制”被按下暂停键。当日深夜，上证所、深交所、中金所分别发布消息称，自2016年1月8日起暂停实施熔断机制。一夜之间， 熔断成为中国股民争议的焦点。有网友评论，熔断不能从根本上帮助股民止损，只有股市能够提前预测，才能止损。而就在昨天，某技术网站发表文章，声称： 技术宅可以应用开源架构和机器学习算法来预测股市！ 你信吗？
▼ 熔断到底是个什么鬼？
熔断机制就相当于家里的保险丝，防止股市波幅过大，危及财产安全。
中国股市的保险丝有5%和7%两种型号。
当股指波动5%，5%小号的保险丝熔断，停电15分钟。
15分钟后，换根7%型号的大号保险丝。
7%大号保险丝如再熔断，全天停电。
就在昨天（1.7），某技术网站发表文章，声称：技术宅可以应用开源架构和机器学习算法来预测股市。让我们一起来看看这吊炸天的言论：
观点1：股市预测理论上具有可行性
该技术网站认为，从理论上讲，股市预测是具有可行性的，因为我们有全世界若干年的所有股票数据样本，同时还有各媒体记录的股票涨跌的同时期的世界上所发生的大事件。可以基于这些统计数据，建立一个模型，使用机器学习来计算未来时间的数据。
举个栗子。
现在正流行个人穿戴技术，我们可用穿戴技术、移动技术来连续的收集存储个人的数据，然后分析个人行为随时间变化的规律。往往在重大疾病前，个人行为的异常就能从记录的数据上看到。
对于这一点，小e表示深感赞同。
观点2：利用开源架构、金融时序可以预测股票
接下来，该技术网站从金融时序预测和舆情监控两个方面详细阐述了如何利用数据来预测股票。此网站还“贴心的”为技术宅介绍了如何利用开源架构和机器学习算法来自己动手评估预测的有效性：
来自于Pivotal公司的企业应用解决方案架构师William Markito最近在公司的博客上发表了题为《实时股票预测系统开源参考架构》的文章，介绍了一个通过开源技术实现实时股票分析系统的参考架构。虽然该架构关注于金融交易，但是也适用于其他行业的实时用例场景。William Markito首先从最顶层的视角，给出了一个高层架构图：
从最顶层的视角看，由预测模型驱动的最优化实时股票预测架构包含数据存储、模型训练、实时评估和采取行动四部分：
首先，进入系统的实时交易数据必须被捕获并存储，作为历史数据。
第二，系统必须能从数据的历史趋势中学习，识别出影响决定的模式和概率。
第三，系统需要能够实时地将新传入的交易数据与从历史数据中学到的模式和概率进行比较。
最后，系统还需要预测出输出并决定所要采取的行动。
之后，William又使用Spring XD （现称为Spring Cloud Data Flow，是一个统一并且可扩展的分布式系统，可用于数据抽取、实时分析、批量处理和数据导出场景）、Apache Geode （一个针对高可扩展应用程序的开源分布式内存数据库，目前正在孵化中）、Spark MLlib 、Apache HAWQ （一个Hadoop原生的大规模并行SQL分析引擎）以及Apache Hadoop™等开源组件对架构中的每一部分进行了细化：
如图所示，整个数据流包含6步，每一部分都是松耦合并且可以水平扩展的：
1、使用Spring XD读取并处理通过Yahoo! 金融Web服务API获取到的实时数据，然后通过Apache Geode 将数据存储在内存中。
2、使用 Apache Geode中的实时热数据，通过Spark MLib应用创建并训练模型，将新数据与历史模式进行比较。当然，也可以使用其他工具集创建模型，例如 Apache MADlib或者R。
3、将训练出的机器学习模型推送到部署好的应用程序上，同时更新 Apache Geode以便于进行实时预测和决策。
4、随着时间的推移，有一部分数据将变成冷数据，将这一部分数据从 Apache Geode移动到Apache HAWQ上并最终存储到Apache Hadoop™中。
5、周期性地基于整个历史数据集重新训练并更新机器学习模型。这一步让系统形成了一个闭环，当历史模式发生变化或者新的模式出现的时候，它会持续地更新和提升模型。
为了让读者能够在自己的笔记本上运行这一架构，William Markito还给出了一个更为简化的实现，该版本移除了长期的数据存储组件Apache HAWQ和Apache Hadoop。
在SlideShare上LargitData的CEO David Chiu介绍了如何通过隐马尔科夫模型（HMM）来预测股票价格，David Chiu认为股票的历史行为与当前行为具有一定的相似性，明天的股票价格可能会遵循过去的某种模式：
另外，在Vatsal H. Shah 的网站上还有一个文档介绍了Decision Stump 算法、线性回归、支持向量机、Boosting 算法和基于文本分析的方法在股票预测领域的应用，并对这些算法的预测结果进行了比较。
除此之外，与上市公司相关的新闻动态也会对股票价格造成影响，例如并购定增事项、公司领导人的离开等等，所以，甚至可以用Twitter来投资。
比如社交媒体数据公司Dataminr，主要客户集中在金融业、政界，包括“华尔街前五家超大型投资银行之中的三家，和一家估值150亿美元的股权避险基金公司”。对于股票交易来说，在新闻发布前获取的一手消息即意味着丰富的投资进账。
美国佩斯大学的博士生亚瑟.奥康纳（Arthur O’Connor）则利用公司如星巴克、可口可乐和耐克在社交媒体上的受欢迎程序，比较它们的股价。发现在社交媒体Twitter、Facebook上的粉丝数和股价密切相关，通过品牌的受欢迎程度，还可预测股价在10天、30天之后的上涨情况。
同时新加坡的数据科学家Lim Zhi Yuan在SlideShare上分享了一些自己的经验。Lim Zhi Yuan在该分享中研究了外部事件对于股票价格的影响，在分析时他分别通过线性模型和非线性模型两种方法进行了实验，线性模型采用了支持向量机（SVM）算法，非线性模型采用了深度神经网络模型。
（注：本文部分内容转自：infoQ，如有侵权，请联系删除！）
1、回复“数据分析师”查看数据分析师系列文章
2、回复“案例”查看大数据案例系列文章
3、回复“征信”查看相关征信的系列文章
4、回复“可视化”查看可视化专题系列文章
5、回复“SPPS”查看SPSS系列文章
6、回复“答案”查看hadoop面试题题目及答案
7、回复“爱情”查看大数据与爱情的故事
8、回复“笑话”查看大数据系列笑话
9、回复“大数据1、大数据2、大数据3、大数据4”查看大数据历史机遇连载
原文始发于微信公众号（PPV课数据科学社区）：熔断后，某网站称机器学习算法可预测股市？ 你信吗？
原创文章，作者：ppvke，如若转载，请注明出处：http://www.ppvke.com/archives/17114
