Apache Spark with Pipeline and LDA

最近入坑Apache Spark,这个分布式框架让我知道了什么叫做大数据,以及在处理大数据之中所碰到的一些问题。首先说明一下语言当然用Scala 虽然一开始让人感觉比较反人类,但是经过一段时间的摸索发现真的挺好用的,甚至喜欢上了它,前提是不报错。

说一下工作环境:

Scala IED

Scala 2.10.6

Apache Spark 1.6.1

Apache Zepprlin

这些版本要对应起来,要不然吃不了兜着走。这里集群的管理工具是ambari,这个工具可以让你轻松的进行图像可视化。

这里我们用的是 Spark on Yarn 模式,其中进行提交......

记一次 VPS 被入侵

最近VPS总是发来停机的消息,每次都是重新开一个instance 就好了没有太在意,但是经常这样就不好了,看了一下到底是为什么。

收到的邮件如下,

We've detected an outgoing Denial of Service attack (http://do.co/21Y1Gc1) originating from your Droplet. Due to the traffic’s harmful nature, your Droplet was taken offline; this means it is not connected to the in......

Docker 常用命令

mark

iterm2 fixed

sudo rm /private/var/log/asl/*.asl

这里标题出现 Emoji字符 不可以正常解析

这里记载一下Docker 🐳的一些常用命令

# 杀死所有正在运行的容器

docker kill $(docker ps -a -q)

# 删除所有已经停止的容器

docker rm $(docker ps -a -q)

# 删除所有未打 dangling 标签的镜像

docker rmi $(docker images -q -f dangling=true)

# 删除所有镜像

docker rmi $(doc......