忙活了半天,终于在实验室的浪潮集群中配置好了hadoop和spark,以后能用配置这么高的服务器了,想想就好开心~
Spark MLlib中ALS交替最小二乘法推荐算法的使用
ALS(Alternating Least Square),交替最小二乘法。在机器学习中,特指使用最小二乘法的一种协同推荐算法。本文通过代码来演示用spark运行ALS算法的一个小例子。
基于Spark的学生成绩分析系统
本文是本人硕士期间云计算课程的一次大作业,所以可能部分内容有充字数的嫌疑,还望各位看官无视。。。但是也正因为此,本文对一些基础概念描述的也挺详细,包括但不限于Spark简介、Spark与Hadoop对比、Spark架构介绍、Pearson相关系数简介、Spark中的combineByKey函数详解、Spark集群中提交并运行作业的方法等。
Spark RDD的简单使用
RDD(Resilient Distributed Dataset)即弹性分布式数据集。
RDD是Spark的核心,在Spark中,对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值。而在这一切的背后,Spark会自动将RDD中的数据分发到集群上,并将操作并行化执行。
Xv6学习小记(一)——编译与运行
1 说明
- Xv6是一个Intel x86平台下的类Unix教学操作系统,最新源码获取地址为https://github.com/mit-pdos/xv6-public
- 运行xv6可以用qemu和bochs,本文介绍在Ubuntu系统下用qemu运行的方式。
- 本文包括qemu的安装步骤、编译并运行Xv6的步骤、Xv6编译生成物的说明以及使用不同CPU数量运行Xv6系统的方法。