ssydxa219
- 浏览: 601237 次
- 性别:
- 来自: 杭州
-
社区版块
- ( 0)
- ( 0)
- ( 0)
最新评论
-
ssydxa219：
vim /etc/security/limits.confvi ...
ekl -
gamehu520：
table中无数据
hbase 出现的问题 -
xleer0102：
为什么都是只有问没有答，哭晕在厕所
hbase 出现的问题 -
jiajiao_5413：
-
coderdream：
不完整，缺com.tcs.org.demostic.pub.u ...
struts2.3.1.1 hibernate3.6.9final spring3.1.0 proxool maven annotation
文章列表
- 博客分类：
- mysql
（1）提高数据库插入性能中心思路：尽量将数据一次性写入到data file和减少数据库的checkpoint 操作。这次修改了下面四个配置项：
1）将 innodb_flush_log_at_trx_commit 配置设定为0；按过往经验设定为0，插入速度会有很大 ...
- 2018-11-05 10:33
- 浏览 2024
- 分类:企业架构
- 博客分类：
- centos7
centos7
常用命令
文件与目录操作
命令 解析
cd /home 进入 ‘/home’ 目录
cd .. 返回上一级目录
cd ../.. 返回上两级目录
cd - 返回上次所在目录
cp file1 file2 将file1复制为file2
cp -a dir1 dir2 复制一个目录
cp -a /tmp/dir1 . 复制一个目录到当前工作目录（.代表当前目录）
ls 查看目录中的文件
ls -a 显示隐藏文件
ls -l 显示详细信息
ls -lrt 按时间显示文件（l表示详细列表，r表示反向排序，t表示按时间排序）
pwd 显示工作路径
mkdir dir1 创建 ‘dir1’ ...
- 2018-10-25 13:39
- 浏览 589
- 分类:企业架构
vim /etc/my.cnf
[client]
port = 3306
socket=/ddhome/bin/mysql/tmp/mysql.sock
[mysql]
# 设置mysql客户端默认字符集
default-character-set=utf8
[mysqld]
#skip-grant-tables
character_set_server=utf8
init_connect='set names utf8'
skip-name-resolve
#设置3306端口
port = 3306
# 设置mysql的安装目录
basedir=/usr/local/mysql/
# 设置 ...
- 2018-08-05 09:36
- 浏览 512
- 分类:企业架构
# -*- coding:utf-8 -*-
from urllib import request as urllib2
from urllib import parse
from bs4 import beautifulsoup as bs
import json
import codecs
url = r'https://movie.douban.com/subject/26363254/'
outputjsonfile= "/ddhome/data/movie.json"
headers = {
'user-agent':'mozilla/5.0 (wind ...
- 2018-07-20 17:45
- 浏览 353
- 分类:企业架构
- 博客分类：
- hive
vim /etc/profile
--------------------------------------------------
hive_home=/ddhome/bin/hive
hive_conf_dir=$hive_home/conf
path=$path:$hive_home/bin
source /etc/profile
#进入目录
cd $hive_conf_dir
#拷贝hive-default.xml.template并重命名为hive-site.xml
cp hive-default.xml.template hive-site.xml
#编辑hive-site.xm ...
- 2018-07-02 16:01
- 浏览 411
- 分类:企业架构
- 博客分类：
- azkaban 3.0
azkaban 3.0 安装
在root的用户下搭建的
• azkaban安装部署（可参照：http://azkaban.github.io/azkaban/docs/latest/）
1)：前提 安装jdk，安装hadoop，hive客户端环境
本次安装azkaban的版本3.20.0-5,相对版本2.5有部分变化，此次安装 two-server模式
in version 3.0 we provide three modes: the stand alone “solo-server” mode, the heavier weight two server mod ...
- 2018-07-02 15:55
- 浏览 3239
- 分类:企业架构
- 博客分类：
- kafka
broker.id=1
port=9092
host.name=192.168.55.91
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.dirs=/ddhome/bin/kafka/tmp/kafka-logs
num.partitions=2
log.retention.hours=168
log.segment.bytes=536870912
l ...
- 2018-07-02 15:50
- 浏览 404
- 分类:企业架构
- 博客分类：
- elasticsearch
grep "^[a-z]" elasticsearch.yml
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
vim /etc/security/limits.d/90-nproc.conf
* soft nproc 4096
vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p
elasticsearch.yml中配置
bootstrap. ...
- 2018-07-02 15:48
- 浏览 259
- 分类:企业架构
- 博客分类：
- centos用命令
=================centos日常用命令=============================
1.关机 (系统的关机、重启以及登出 ) 的命令
shutdown -h now 关闭系统(1)
init 0 关闭系统(2)
telinit 0 关闭系统(3)
shutdown -h hours:minutes & 按预定时间关闭系统
shutdown -c 取消按预定时间关闭系统
shutdown -r now 重启(1)
reboot 重启(2)
logout 注销
2.查看系统信息的命令
arch 显示机器的处理器架构(1)
uname ...
- 2018-07-02 15:48
- 浏览 419
- 分类:企业架构
#history
user_ip=`who -u am i 2>/dev/null| awk '{print $nf}'|sed -e 's/[()]//g'`
histdir=/ddhome/history/the_history
if [ -z $user_ip ]
then
user_ip=`hostname`
fi
if [ ! -d $histdir ]
then
mkdir -p $histdir
chmod 777 $histdir
fi
if [ ! -d $histdir/${logname} ]
then
mkdir -p $histdir/${logname}
chm ...
- 2018-06-23 00:34
- 浏览 416
- 分类:企业架构
wget https://github.com/cloudera/hue/archive/release-4.0.1.tar.gz
tar -zvxf release-4.0.1.tar.gz
core-site.xml
hadoop.proxyuser.hue.hosts
*
hadoop.proxyuser.hue.groups
- 2018-06-21 00:36
- 浏览 978
- 分类:企业架构
#卸载系统自带的mariadb
[root@hdp265dnsnfs ~]# rpm -qa|grep mariadb
mariadb-libs-5.5.44-2.el7.centos.x86_64
[root@hdp265dnsnfs ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64
#删除etc目录下的my.cnf文件
[root@hdp265dnsnfs ~]# rm /etc/my.cnf
rm: cannot remove ?etc/my.cnf? no ...
- 2018-06-21 00:22
- 浏览 1261
- 分类:企业架构
kvm虚拟化管理平台webvirtmgr部署-完整记录
打算部署kvm虚拟机环境，下面是虚拟化部署前的一些准备工作：
操作系统环境安装
1）修改内核模式为兼容内核启动
[root@ops ~]# uname -a
linux openstack 2.6.32-431.el6.x86_64 #1 smp fri nov 22 03:15:09 utc 2013 x86_64 x86_64 x86_64 gnu/linux
[root@ops ~]#vim /boot/grub/grub.conf
......
default=1 #由默认的0改为1，内核兼容模式
2）关闭s ...
- 2018-06-21 00:04
- 浏览 1106
- 分类:企业架构
- 博客分类：
- elasticsearch
一、下载及配置
1.几个基本名词
index: es里的index相当于一个数据库。
type: 相当于数据库里的一个表。
id： 唯一，相当于主键。
node:节点是es实例，一台机器可以运行多个实例，但是同一台机器上的实例在配置文件中要确保http和tcp端口不同（下面有讲）。
cluster:代表一个集群，集群中有多个节点，其中有一个会被选为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。
shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，构成分布式搜索。分片的数量只能在索引创建前指定，并 ...
- 2018-06-14 13:28
- 浏览 429
- 分类:企业架构
5.1 索引
索引(index)是elasticsearch存放具体数据的地方，是一类具有相似特征的文档的集合。elasticsearch中索引的概念具有不同意思，这里的索引相当于关系数据库中的一个数据库实例。在elasticsearch中索引还可以作为动词，表示对数 ...
- 2018-06-14 13:20
- 浏览 1226
- 分类:企业架构