word2vec 基于维基百科训练小结

首先去维基百科进行下载资料

wget https://dumps.wikimedia.org/zhwiki/20170301/zhwiki-20170301-pages-articles-multistream.xml.bz2

下载完成之后要进行对文本的处理

# 下载解压脚本

git clone https://github.com/at......

1. General

1.1 HORTONWORKS DATAFLOW (HDF™)

HDF makes streaming analytics faster and easier, by enabling accelerated data collection, curation, analysis and delivery in real-time, on-premises or in ......

最近入坑Apache Spark,这个分布式框架让我知道了什么叫做大数据,以及在处理大数据之中所碰到的一些问题。首先说明一下语言当然用Scala 虽然一开始让人感觉比较反人类,但是经过一段时间的摸索发现真的挺好用的,甚至喜欢上了它,前提是不报错。

说一下工作环境:

Scala IED

Scala 2.10.6

Apache Spark 1.6.1

Apache Zeppr......