ssydxa219的博客 -凯发k8国际

`
ssydxa219
  • 浏览: 601203 次
  • 性别:
  • 来自: 杭州
博主相关
  • 博客
  • 微博
  • 相册
  • 收藏
  • 文章分类
    社区版块
    • ( 0)
    • ( 0)
    • ( 0)
    存档分类
    最新评论
    文章列表
    mapreduce         mapreduce是一种分布式计算模型,由google提出,主要用于搜索领域,mapreduce程序         本质上是并行运行的,因此可以解决海量数据的计算问题.           mapreduce任务过程被分为两个处理阶段:map阶段和reduce阶段.每个阶段都以键          值对作为输入和输出.用户只需要实现map()和reduce()两个函数即可实现分布式计算.
    集群中 spark 集群模式的安装过程配置过程并测试 spark 的一些基本使用方法。   安装环境如下:   操作系统:centos 6.5 hadoop 版本:hadoop2.7.0 spark 版本:1.3.0_5.4.0   1. 安装   首先查看 spark 相关的包有哪些:   $ yum list |grep spark spark-core.noarch 1.3.0 cdh5.4.0 24-1.cdh5.4.0.p0.52.el6 spark-history-server.noarch ...
    global site tag (gtag.js) - google analytics
    网站地图