gaojingsong
- 浏览: 1124910 次
- 性别:
- 来自: 深圳
-
社区版块
- ( 4)
- ( 0)
- ( 80)
最新评论
-
gaojingsong：
jstl1point0 写道高级版本jdk可以直接安装不用配置 ...
【win7配置jdk 环境变量】 -
jstl1point0：
高级版本jdk可以直接安装不用配置了
【win7配置jdk 环境变量】 -
hdd901002：
光说明错误在哪里有什么用，解决方法啊。。。我也碰到了，一条jo ...
mycat源码解读--错误之【can't find table define in schema 】 -
masuweng：
【java之图片水印】 -
masuweng：
【java之多线程下载文件实现】
文章列表
- 博客分类：
- 大数据--hadoop
hadoop中的namenode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个namenode。如果该namenode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。hadoop2就解决了这个问题。
hadoop2.2.0中hdfs的高可靠指的是可以同时启动2个namenode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个namenode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个namenode提供服务。
这些namenode之间通过共享数据 ...
- 2017-07-23 14:07
- 浏览 1153
- 分类:开源软件
- 博客分类：
- 大数据--hadoop
原来的 map-reduce 架构是简单明了的，在最初推出的几年，也得到了众多的成功案例，获得业界广泛的支持和肯定，但随着分布式系统集群的规模和其工作负荷的增长，原框架的问题逐渐浮出水面，主要的问题集中如下：
1)jobt ...
- 2017-03-27 20:30
- 浏览 838
- 分类:开源软件
- 博客分类：
- 大数据--hadoop
在一个典型的ha集群中，每个namenode是一台独立的服务器。在任一时刻，只有一个namenode处于active状态，另一个处于standby状态。其中，active状态的namenode负责所有的客户端操作，standby状态的namenode处于从属地位，维护着数据状态，随时准备切换。
两个namenode为了数据同步，会通过一组称作journalnodes的独立进程进行相互通信。当active状态的namenode的命名空间有任何修改时，会告知大部分的journalnodes进程。standby状态的namenode有能力读取jns中的变更信息，并且一直监控edit log的变 ...
- 2017-03-27 20:20
- 浏览 642
- 分类:开源软件
- 博客分类：
- 大数据--hadoop
江湖传说永流传：谷歌技术有"三宝"，gfs、mapreduce和大表（bigtable）！
谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年sosp的gfs，04年osdi的mapreduce，和06年osdi的bigtable
一、mapreduce运行机制
mapredu ...
- 2016-10-10 22:01
- 浏览 506
- 分类:开源软件
- 博客分类：
- 大数据--hadoop
1、mapreduce
mapreduce是一种编程模型，用于大规模数据集（大于1tb）的并行运算。概念"map（映射）"和"reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它� ...
- 2016-10-10 21:47
- 浏览 788
- 分类:开源软件
- 博客分类：
- 大数据--hadoop
hadoop文件操作之hdfs，创建。删除目录，读写文件，追加写文件
package hadoop.hadoop_demo;import java.io.inputstream;import java.io.outputstream;import java.net.uri;import org.apache.commons.io.ioutils;import org.apache.hadoop.conf.configuration;import org.apache.hadoop.fs.filesystem;import org.apache.hadoop.fs.path;/** * ...
- 2016-04-07 23:44
- 浏览 2805
- 分类:开源软件
- 博客分类：
- 大数据--hadoop
1、进程差异
新版本hadoopsecondarynamenode nodemanager namenode datanode resourcemanager
旧版本hadoop
secondarynamenode，jobtracker，namenode，datanode，trasktracker五个进程
安装新版本haddop注意事项，安装过程同hadoop低版本
loaded: ssh: could not resolve hostname loaded: name or service not knownit's: ssh: could not resolve ...
- 2016-04-07 22:15
- 浏览 850
- 分类:开源软件
- 博客分类：
- 大数据--hadoop
java代码操作hdfs文件
/**
org.apache.hadoop
hadoop-core
1.2.1
* @param args
* @throws exception
*/
public static void main(string[] args) throws e ...
- 2016-04-05 22:27
- 浏览 929
- 分类:开源软件
- 博客分类：
- 大数据--hadoop
- linux
想象一下这种场景：我们使用1000台廉价的pc机做hadoop集群，虽然hadoop号称高可用，低成本；但是廉价机器谁能保证不出现问题呢，况且世界上本身就没有不出问题的电脑，于是今天坏掉一台机器，明天需要扩充增加一个节点增加容量，但是有一个问题ssh免密码登录的认证的公钥文件在各个电脑上不能共享，如果增加一个节点，新产生的id_rsa.pub 文件在各个pc的authorized_keys文件中不存在，因此各个pc拒绝新节点来访问自己，因为新节点没有报到，此时管理员疯了：要把新节点的id_rsa.pub 文件加入到各个pc的authorized_keys中,管理员的噩梦了......... ...
- 2016-03-11 21:45
- 浏览 1756
- 分类:开源软件
- 博客分类：
- 大数据--hadoop
概述：分布式核心思想是人多力量大，众人拾材火焰高；把众多计算机集中起来进行任务处理，其存储和运算能力就提高了，可以并行运算，但是众多pc维护管理也是一个问题，所谓众口难调，这就是鱼和熊掌不可兼得的道理，只能两害相侵，取其轻，来进行利益最大化处理。本次实验使用三台虚拟机：master,node1,node2,其中master作为namenode，senondnamenode，以及jobtracker，另外两个几点作为datanode和tasktracker，具体搭建过程如下：1、配置host文件(或者使用dns服务器)
修改/etc/hosts文件
ip地址 ...
- 2015-12-08 21:52
- 浏览 771
- 分类:行业应用
- 博客分类：
- 大数据--hadoop
1、关闭防火墙
service iptables status
service iptables stop
chkconfig --list
chkconfig iptables off
2、ssh 免密码登录
生成秘钥到root目录
ssh-keygen -t rsa
公钥文件放入authorized_keys
cp id_rsa.pub authorized_keys
验证：ssh localhost
3、安装jdk
配置etc/profile jdk环境变量
4、开始安装hadoop
1)解压，配置hadoop环境变量bin
hadoop_home
path: hadoop ...
- 2014-12-22 21:26
- 浏览 663
- 分类:开源软件