yo8237233
- 浏览: 59867 次
- 来自: 深圳
最近访客
社区版块
- ( 0)
- ( 1)
- ( 2)
存档分类
- ( 7)
- 2016-11 ( 3)
- ( 3)
最新评论
-
:
求demo 375681112@qq.om
-
:
你好,请问能否发送一下这个demo给我呢,非常感谢。我的邮箱是 ...
-
:
你好,请问能否发送一下这个demo给我呢,非常感谢。我的邮箱是 ...
-
:
你好 给我一份吧 谢谢 451007821@qq.com
-
:
你好 给我一份吧 谢谢 919036095@qq.com
文章列表
- 博客分类:
以前在hadoop 1.0中jobtracker主要完成两项功能:资源的管理和作业控制。在集群规模过大的场景下,jobtracker
存在以下不足:
1)jobtracker 单点故障。
2)jobtracker 承受的访问压力大,影响系统的扩展性。
3)不支持mapreduce之外的计算� ...
- 2016-12-11 15:43
- 浏览 700
- 分类:开源软件
- 博客分类:
flume概念
flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
flume 特点:
1、可靠性
当节点出现故障时,日志能够被传送到其他节点上而不会丢失。flume提供了三种级别的可靠性保障,所有的数据以event为单位传输,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),store on failure(这也是scribe采用的策略,当数据接收方cr ...
- 2016-12-10 18:53
- 浏览 1329
- 分类:开源软件
- 博客分类:
public static void main(string[] args) {
map map = new hashmap();
map.put("1", "value1");
map.put("2", "value2");
map.put("3", "value3");
//第一种:普遍使用,二次取值
system.out.prin ...
- 2016-12-09 15:38
- 浏览 601
- 分类:编程语言
- 博客分类:
配置完成zookeeper集群,发现有一个节点,进程正常但是状态异常
查看日志一开始进入歧途了,查看的是这个目录
其实应该查看这个目录的日志
失败日志:
很明显,没有权限,更改权限,启动成功
- 2016-12-07 20:28
- 浏览 745
- 分类:开源软件
- 博客分类:
hdfs:
基础架构
1、namenode(master)
1)命名空间管理:命名空间支持对hdfs中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。
2)块存储管理。
使用active namenode,standby namenode 两个节点可以解决单点问题,两个节点通过jounalnode共享状态,通过zkfc 选举active ,监控状态,自动备份。
1、active namenode
接受client的rpc请求并处理,同时写自己的editlog和共享存储上的editlog,接收datanode的block report, block loc ...
- 2016-12-07 13:34
- 浏览 544
- 分类:开源软件
- 博客分类:
cdh 数据库 磁盘坏了 所有集群配置 都没了 而且 还没备份 ....
元数据 还在 cdh 软件配置 和 安装软件 不能用了
下载 apache hadoop 重新配置 namenode datenode journode 加载以前的数据 读出来了
..
强制了 namenode 主 把数据迁移到 其他节点
因为 重新 安装数据可 cdh 自动把之前的目录 配置文件 和 软件 全部清空了
还是手动安装靠谱
- 2016-12-01 22:03
- 浏览 918
- 分类:开源软件
- 博客分类:
mapreduce中数据流动
(1)最简单的过程: map - reduce
(2)定制了partitioner以将map的结果送往指定reducer的过程: map - partition - reduce
(3)增加了在本地先进性一次reduce(优化)过程: map - combin(本地reduce) - partition -reduce
map函数的处理结果放在内存中,这个内存也称为环形缓冲区,缓冲区达到80%的时候会形成溢写,一边向磁盘写入,一般接受map输出,具体流程是一个管道机制
map 数据 先写入缓冲区在内部排序,当达到一定的大小再写入磁盘。如果 ...
- 2016-11-12 20:46
- 浏览 572
- 分类:开源软件
- 博客分类:
默认情况下,map 输出的结果会对 key 进行默认的排序,但是有时候需要对 key 排序的同时再对 value 进行排序,这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。
二次排序原理
我们把二次排序主要分为以下几个阶段。
map 起始阶段
在map阶段,使用 job.setinputformatclass() 定义的 inputformat ,将输入的数据集分割成小数据块 split,同时 inputformat 提供一个 recordreader的实现。本课程中使用的是 textinputformat,它提供的 recordread ...
- 2016-11-07 14:51
- 浏览 1091
- 分类:开源软件
- 博客分类:
matadata:
hadoop a
spark a
hive a
hbase a
tachyon a
storm a
redis a
自定义分组
import org.apache.hadoop.conf.configuration;
import org.apache.hadoop.fs.path;
import org.apache.hadoop.io.longwritable;
import org.apache.hadoop.io.text;
import org.apache.hadoop.io.w ...
- 2016-11-07 12:35
- 浏览 434
- 分类:开源软件
- 博客分类:
具体情况比较曲折:hadoop2.6.0编译不过
错误如下:
这个kms模块始终编译不过,最后得出结论国内的aliyun maven仓库有问题,
在编译hadoop2.2.0 可以通过,因为这个版本的hadoop没有kms这个模块,
要想编译2.6.0的hadoop 必须使用国外的maven地址。
2.2.0基本步骤和网上大概相同
可编译成功,同时安装snappy 成功:
同时记录下这篇文章:
http://blog.sina.com.cn/s/blog_6baac06c0101gvxr.html
- 2016-10-29 23:24
- 浏览 449
- 分类:开源软件
- 博客分类:
换了个环境,出现此异常
016-10-18 23:54:01,334 warn [org.apache.hadoop.util.nativecodeloader] - unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2016-10-18 23:54:01,668 info [org.apache.hadoop.conf.configuration.deprecation] - session.id is deprecated. instead ...
- 2016-10-20 10:23
- 浏览 968
- 分类:编程语言
- 博客分类:
public class data {
private long id ;
private long courseid ;
private string content ;
public long getid() {
return id;
}
public data setid(long id) {
this.id = id;
return this ;
}
public long getcourseid() {
return courseid;
}
public data setcourseid(long ...
- 2016-10-17 16:25
- 浏览 550
- 分类:编程语言
- 博客分类:
有这样一个需求,在mysql数据库字符串字段(权限)中,有范围在 1 到 n 之间代表不同权限的值,分别被‘,’分开,现在要取出具有某权限的所有成员列表。
创建表:
1 create table users(id int(6) not null auto_increment,primary key (id),name varchar(20) not null,limits varchar(50) not null);
添加数据:
1 insert into users(name, limits) values('小张','1,2,12');
2 insert into u ...
- 2016-09-27 17:25
- 浏览 1039
- 分类:数据库
- 博客分类:
昨晚突然之间mr跑步起来了
jps查看 进程都在的,但是在reduce任务跑了85%的时候会抛异常
异常情况如下:
2016-09-21 21:32:28,538 info [org.apache.hadoop.mapreduce.job] - map 100% reduce 84%
2016-09-21 21:32:30,623 info [org.apache.hadoop.mapred.localjobrunner] - reduce > reduce
2016-09-21 21:32:33,626 info [org.apache.hadoop.mapred.local ...
- 2016-09-22 15:38
- 浏览 1570
- 分类:开源软件
« 上一页 1