文章列表
- 博客分类：
原文连接 http://xiguada.org/spark_rdd/
rdd（resilient distributed datasets弹性分布式数据集），是spark中最重要的概念，可以简单的把rdd理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机 ...
- 2016-09-13 06:41
- 浏览 589
- 分类:编程语言
- 博客分类：
写在前面一：本文将hive与hbase整合在一起，使hive可以读取hbase中的数据，让hadoop生态系统中最为常用的两大框架互相结合，相得益彰。 写在前面二：使用软件说明
- 2016-05-26 22:47
- 浏览 760
- 分类:编程语言
- 博客分类：
在hive上启动service
hive --service hiveserver
在eclipse中进行开发
导入需要的jar包（我这个导入的是udf和jdbc连接hive需要的jar包，基本是最简的了）
我的代码，hive的语法就不说了，大家�
- 2016-05-26 22:04
- 浏览 539
- 分类:编程语言
- 博客分类：
package com.cfnet.hadoop.hbase; import java.io.ioexception; import java.util.list; import org.apache.hadoop.conf.configuration; import org.apache.hadoop.hbase.cell; import
- 2016-05-24 15:42
- 浏览 572
- 分类:编程语言
copy自http://demojava.iteye.com/blog/800204 以下内容全部是网上收集： freemarker的模板文件并不比html页面复杂多少,freemarker模板文件主要由如下4个部分组成: 1,文本:直接输出的部分 2,注释:<#-- ... -->格式部分,不会输出 3,插值:即${...}或#{...}格式的部分,将使用数据模型中的部分替代输出 4,ftl指令:freemarker指定,和html标记类似,名字前加#予以区分,不会输出 下面是一个freemarker模板的例子,包含了以上所说的4个部分
...
...
- 2016-05-19 17:15
- 浏览 534
- 分类:编程语言
- 博客分类：
web服务（web service）是基于xml和https的一种服务，其通信协议主要基于soap，服务的描述通过wsdl，通过uddi来发现和获得服务的元数据
- 2016-05-19 12:31
- 浏览 532
- 分类:编程语言
- 博客分类：
我们可以通过cli、client、web ui等hive提供的用户接口来和hive通信，但这三种方式最常用的是cli；client 是hive的客户端，用户连接至 hive server。在启动 client 模式的时候，需要指出hive server所在节点，并且在该节点启动 hive server。 wui 是通过浏览器访问 hive。今天我们来谈谈怎么通过hiveserver来操作hive。 hive提供了jdbc驱动，使得我们可以用java代码来连接hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样，我们也需要将hive的服务打开；在hive 0.11.0版 ...
- 2016-05-19 12:30
- 浏览 298
- 分类:编程语言
- 博客分类：
今天我们要探讨的话题是hive的里面的表与外部表两个概念，以及如何在hive里面创建表和外部表，它们之间有什么区别等话题。在本博客的《hive的数据存储模式》文章里面我们谈到了hive的数据存储模式，里面简单的说到hive中表以及外部表的简单概念，相信很多读者对这些概念还不是很了解，今天就给大家科普一下，希望对大家有所帮助。 相信很多用户都用过关系型数据库，我们可以在关系型数据库里面创建表（create table），这里要讨论的表和关系型数据库中的表在概念上很类似。我们可以用下面的语句在hive里面创建一个表：
- 2016-05-19 12:29
- 浏览 523
- 分类:编程语言
- 博客分类：
在本博客的《hive几种数据导入方式》文章中，谈到了hive中几种数据的导入方式，不同的数据导入方式用途不一样。今天我们再谈谈hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到hdfs中；（3）、导出到hive的另一个表中。为了避免单纯的文字，我将一步一步地用命令进行说明。
一、导出到本地文件系统
- 2016-05-19 12:29
- 浏览 582
- 分类:编程语言
hive的数据分为表数据和元数据，表数据是hive中表格（table）具有的数据；而元数据是用来存储表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。下面分别来介绍。
一、hive的数据存储 在《hive到底是什么》博文中我们提到hive是基于hadoop分布式文件系统的，它的数据存储在hadoop分布式文件系统中。hive本身是没有专门的数据存储格式，也没有为数据建立索引，只需要在创建表的时候告诉hive数据中的列分隔符和行分隔符，hive就可以解析数据。所以往hive表里面导入数据只是简单的将数据移动到表所在的目录中（如果数据是在hdfs上；但如果数据 ...
- 2016-05-15 15:05
- 浏览 475
- 分类:编程语言
好久没写hive的那些事了，今天开始写点吧。今天的话题是总结hive的几种常见的数据导入方式，我总结为四种：（1）、从本地文件系统中导入数据到hive表；（2）、从hdfs上导入数据到hive表；（3）、从别的表中查询出相应的数据并导入到hive表中；（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。我会对每一种数据的导入进行实际的操作，因为纯粹的文字让人看起来很枯燥，而且学起来也很抽象。好了，开始操作！
一、从本地文件系统中导入数据到hive表 先在hive里面创建好表，如下：
- 2016-05-15 14:55
- 浏览 552
- 分类:编程语言
1. hive是什么
hive是基于hadoop的数据仓库凯发k8国际娱乐官网入口的解决方案。由于hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用hive构建的数据仓库也秉承了这些特性。
这是来自官方的解释。
简单来说，hive就是在hadoop上架了一层sql接口，可以将sql翻译成mapreduce去hadoop上执行，这样就使得数据开发和分析人员很方便的使用sql来完成海量数据的统计和分析，而不必使用编程语言开发mapreduce那么麻烦。
先上一张经典的hive架构图：
hive架构图
- 2016-05-15 07:56
- 浏览 352
- 分类:编程语言
作者：邵兵链接：https://www.zhihu.com/question/21677041/answer/22393192来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。1. rdbms让数据集保持在一台单一的机器上是rdbms提供acid特性和丰富查询模型的最好方式。但数据集变大时，垂直扩展（scaling up）带来诸多限制。企业慢慢发现，通过增加多节点的服务器进行横向扩展（scaling out）是一种更经济和更可行的方式。dba们对rdbms采用的横向扩展的方法主要有主从复制（master-slave）、分片（sharding）。横向扩展rdbms – ...
- 2016-05-15 07:56
- 浏览 553
- 分类:数据库
转载请注明出处： http://blog.fens.me/hadoop-hive-intro/
前言
hive是hadoop一个程序接口，hive让数据分析人员快速上手，hive使用了类sql的语法，hive让java的世界变得简单而轻巧，hive让hadoop普及到了程序员以外的人。
从hive开始，让分析师们也能玩转大数据。
目录
- 2016-05-14 17:41
- 浏览 746
- 分类:编程语言
« 上一页 1