gaojingsong的博客 -凯发k8国际

`
gaojingsong
  • 浏览: 1124910 次
  • 性别:
  • 来自: 深圳
博主相关
  • 博客
  • 微博
  • 相册
  • 收藏
    • 文章分类
    社区版块
    • ( 4)
    • ( 0)
    • ( 80)
    存档分类
    最新评论
    文章列表
    kafka 2.0.0 includes a number of significant new features. here is a summary of some notable changes: kip-290 adds support for prefixed acls, simplifying access control management in large secure deployments. bulk access to topics, consumer groups or transactional ids with a prefix can now be gran ...
    kestrel是twitter的开发团队用scala语言写的开源消息中间件。 kestrel is a simple, distributed message queue written on the jvm, based on blaine cook's "starling".   each server handles a set of reliable, ordered message queues, with no cross communication, resulting in a ...
    apache distributedlog (dl) is a high-throughput, low-latency replicated log service, offering durability, replication and strong consistency as essentials for building reliable real-time applications.      features   high performance dl is able to provide milliseconds latency on durable writes ...
    kafka的作者neha narkhede在confluent上发表了一篇博文，介绍了kafka新引入的ksql引擎——一个基于流的sql。推出ksql是为了降低流式处理的门槛，为处理kafka数据提供简单而完整的可交互式sql接口。ksql目前可以支持多种流式操作，包括� ...
    kafka的producer、broker和consumer之间采用的是一套自行设计的基于tcp层的协议。kafka的这套协议完全是为了kafka自身的业务需求而定制的，而非要实现一套类似于protocol buffer的通用协议。   基本数据类型 定长数据类型：int8,int16,int3 ...
    一、brokerstates.scala 定义了目前一个kafka broker的7中状态 ——  1. notrunning：未运行 2. starting：启动中 3. recoveringfromuncleanshutdown：从上次异常恢复中 4. runningasbroker：已启动 5. runningascontroller：作为controller运行 6. pendingcontrolledshutdown：controlled关闭 7. brokershuttingdown：关闭broker brokerstates提供了newstate方法来设定bro ...
    kafka的特性 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 容错性：允许集群中节� ...
    jafka 是一个开源的、高性能的、跨语言分布式消息系统，使用github托管。 jafka最早是由apache孵化的kafka（由linkedin捐助给apache）克隆而来。     jafka mq is a distributed publish-subscribe messaging system cloned from apache kafka. so it has the following features: persistent messaging with o(1) disk structures that provide constant time perfo ...
    hornetq is an open source project to build a multi-protocol, embeddable, very high performance, clustered, asynchronous messaging system. hornetq is an example of message oriented middleware (mom) . mq框架非常之多，比较流行的有rabbitmq、activemq、zeromq、kafka。这几种mq到底应该选择哪个？要根据自己项目的业务场景和需求   hornetq是一个支持集群和多种协 ...
    metamorphosis是淘宝开源的一个java消息中间件，他类似apache-kafka，但不是一个简单的山寨拷贝，而是做了很多改进和优化，项目的凯发k8国际娱乐官网入口主页在淘蝌蚪上。   metaq是一款完全的队列模型消息中间件，服务器使用java语言编写，可在多种软硬件平台上部署。客户端支持java、c 编程语言   metaq对外提供的是一个队列服务，内部实现也是完全的队列模型，这里的队列是持久化的磁盘队列，具有非常高的可靠性，并且充分利用了操作系统cache来提高性能   1. metaq是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。 2
    [root@node1 opt]# ls collectd         flume1.6       influxdb              nagios-plugins-1.4.13  python-2.6.6.tgz                   yum-3.2.26.tar.gz  elasticsearch-2.0.0-rc1         gnu            kafka_2.10-0.9.0.1                    openssl-1.0.0e         soft         zookeepe346  elasticsea ...
    kafka web console是kafka的开源web监控程序. 功能介绍如下: brokers列表 连接kafka的zk集群列表 所有topic列表，操作相应topic可以浏览查看相应message生产和消费流量图. [root@node1 opt]# ls collectd    es5.0   hadoop_data          mq        path              storm096          zookeepe346 elasticsearch-2.0.0-rc1         flume1.6       httpd-2.2.23 ...
    jafka mq is a distributed publish-subscribe messaging system cloned from apache kafka.   jafka 是一个高性能的跨语言分布式消息系统。jafka已经开源，使用github托管。 jafka是由apache孵化的kafka(由linkedin捐助给apache）克隆而来。jafka 1.0完整遵循kafka 0 ...
    1、启动类改写 package kafka;   import java.util.properties;   import kafka.metrics.kafkametricsreporter1; import kafka.server.kafkaconfig; import kafka.server.kafkaserverstartable; import kafka.utils.utils; import kafka.utils.verifiableproperties;   public class mykafka {   public static voi ...
    1、安装zookeepr环境   验证：确保环境ok   2、启动kafka环境 设置编译环境   启动kafka服务  3、启动生产者   kafka服务确实运行在本机  4、启动消费者    
    1、下载kafka源码   2、下载编译环境   3、编译过程  编译完毕界面  4、导入eclipse验证 此问题原因是因为没有启动zookeeper，导致链接zk超时  运行kafka主方法即入口方法  
    what is rabbitmq? rabbitmq是一个由erlang开发的amqp（advanced message queue ）的开源实现 robust messaging for applications easy to use runs on all major operating systems supports a huge number of developer platforms open source and commercially supported   rabbitmq is officially supported on a number of o ...
    一、zookeeper在kafka中的作用 1)broker注册 broker在zookeeper中保存为一个临时节点，节点的路径是/brokers/ids/[brokerid],每个节点会保存对应broker的ip以及端口等信息.   2)topic注册 在kafka中,一个topic会被分成多个区并被分到多个broker上，分区的信息以及broker的分布情况都保存在zookeeper中，根节点路径为/brokers/topics,每个topic都会在topics下建立独立的子节点，每个topic节点下都会包含分区以及broker的对应信息，例如下图中的状态 3)生产者负载均 ...
    ############################# system ############################# #唯一标识在集群中的id，要求是正数。 broker.id=0 #服务端口，默认9092 port=9092 #监听地址，不设为所有地址 host.name=debugo01   # 处理网络请求的最大线程数 num.network.threads=2 # 处理磁盘i/o的线程数 num.io.threads=8 # 一些后台线程数 background.threads = 4 # 等待io线程处理的请求队列最大数 queued. ...
    #############################consumer ############################# # consumer端核心的配置是group.id、zookeeper.connect # 决定该consumer归属的唯一组id，by setting the same group id multiple processes indicate that they are all part of the same consumer group. group.id # 消费者的id，若是没有设置的话，会自增 consumer.id # 一个用于跟踪 ...
    serializer.class 默认值： kafka.serializer.defaultencoder 必须实现kafka.serializer.encoder接口，将t类型的对象encode成kafka message     key.serializer.class 默认值：serializer.class key对象的serializer类     partitioner.class 默认值：kafka.producer.defaultpartitioner 必须实现kafka.producer.partitioner，根据key提供一个分区策略   ...
    kafkaoffsetmonitor功能： 1.从标题都可以看出来，kafka offset monitor，是对consumer消费情况进行监控,并能列出每            个consumer offset,滞后数据。 2.消费者组列表 3.每个topic的所有parition列表(topic,pid,offset,logsize,lag,owner) 4.查看topic的历史消费信息.
    一、特点： 不用关心offset, 会自动的读zookeeper中该consumer group的last offset   二、注意事项 1. 如果consumer比partition多，是浪费，因为kafka的设计是在一个partition上是不允许并发的，    所以consumer数不要大于partition数  2. 如果consumer比partition少，一个consumer会对应于多个partitions，     这里主要合理分配consumer数和partition数，否则会导致partition里面的数据被取的不均匀      最好partiton数目是 ...
     
      一、什么时候用这个接口?      1）read a message multiple times      2）consume only a subset of the partitions in a topic in a process     3）manage transactions to make sure a message is processed once and only once   二、使用simpleconsumer的步骤： 1）find an active broker and find out which broker is the leader ...
    kafka原理图java源代码之kafka生产者，本次客户端使用kafka的console命令行，消费，生产者使用代码编码。看了好多生产者代码都带有props.put("zk.connect", "n2:2181/jafka");  真是感到不解，没有这个参数也可以运行的好好的，实践出真知，弄懂原理真的很重要，具体如下： import java.util.properties; import kafka.javaapi.producer.producer;import kafka.producer.keyedmessage;import kafka ...
    1、启动安装zookeeper [root@node1 bin]# ./zkserver.sh  jmx enabled by default using config: /opt/bigdata/zookeeper/bin/../conf/zoo.cfg usage: ./zkserver.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd} [root@node1 bin]# ./zkserver.sh  start-foreground jmx enabled by default using c ...
    global site tag (gtag.js) - google analytics
    网站地图