精华频道 → 开源软件

分布式消息中间件 metaq 作者庄晓丹专访 -凯发k8国际

2012-12-29  编辑 wangguo 评论(20条) 有74401人浏览
metaq messaging mq activemq kafka

声明：iteye精华文章的凯发k8国际的版权属于iteye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

metaq（全称metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，思路起源于linkedin的kafka，但并不是kafka的一个copy。metaq具有消息存储顺序写、吞吐量大和支持本地和xa事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，目前在淘宝和支付宝有着广泛的应用。

github地址：

为了使大家对metaq有进一步的了解，本期我们采访了metaq的核心开发者庄晓丹。

iteye期待并致力于为国内优秀的开源项目提供一个免费的推广平台，如果你和你的团队希望将自己的开源项目介绍给更多的开发者，或者你希望我们对哪些开源项目进行专访，请告诉我们，发站内短信给或者发邮件到webmaster@iteye.com即可。

先来个自我介绍吧！

我叫庄晓丹，工作5年左右，工作经历比较杂，在创业公司呆过，在大公司呆过。目前在avos的中国分公司工作，我们的主要产品是美味书签（和中文版的）、美味爱读（）等。我的主要工作语言是clojure/java，编程既是我的工作，也是兴趣爱好。

metaq是什么？能做什么？

metaq（全称为metamorphosis）是一个淘宝开源的分布式的消息中间件，它是纯java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。这个产品是我在淘宝中间件团队发起并作为核心开发者的一个项目。第一个版本的完整代码包括完整的单元测试是我在两周内（印象中是，可能更短）写出来的。

metaq既然是一个消息中间件，那么消息中间件能做的事情，metaq都是可以做到的。消息中间件作为分布式系统可扩展、可伸缩性的关键一环，metaq可以起到很好的作用。

metaq项目的由来？

metaq的起源是我从对linkedin的开源mq（现在转移到的学习开始的，这是一个设计很独特的mq系统，它采用pull机制，而不是一般mq的push模型，它大量利用了zookeeper做服务发现和offset存储，它的设计理念我非常欣赏并赞同，强烈建议有兴趣的同学阅读一下它的，总体上说metaq的设计跟它是完全一致的。

可不可以说metaq是apache kafka的java实现 & 功能增强版本？

可以这样说，因为总体的设计是一致的，但是我们做了很多优化和改进。

可以简单概括下我们重新写metaq的原因：

  • kafka是scala写的，我对scala不熟悉，并且在当时kafka整个社区的发展太缓慢了。
  • 有一些功能是kakfa没有实现，但是我们却需要，比如事务、多种offset存储、高可用方案(ha)等
meta相对于kafka特有的一些功能：

  • 文本协议设计，非常透明，支持类似memcached stats的协议来监控broker
  • 纯java实现，从通讯到存储，从client到server都是重新实现。
  • 提供事务支持，包括本地事务和xa分布式事务
  • 支持ha复制，包括异步复制和同步复制，保证消息的可靠性
  • 支持异步发送消息
  • 消费消息失败，支持本地恢复
  • 多种offset存储支持，数据库、磁盘、zookeeper，可自定义实现
  • 支持group commit，提升数据可靠性和吞吐量。（目前kafka已实现）
  • 支持消息广播模式
  • 一系列配套项目：python/ruby/c/c 客户端、twitter storm的spout、tail4j等。

与其他消息系统（如activemq、hornetq）相比，metaq有哪些优势或特点？

activemq和hornetq都是符合java ee中jms规范的mq实现，两者都是很优秀的开源mq。同时两者也不局限在jms规范，同时也支持其他一些mq协议，如stomp协议、amqp协议等。相比来说，就我当时了解的情况来看，hornetq的性能会比activemq更强，因为hornetq使用jni基于异步io做了更多优化，而对于mq来说，最终的瓶颈都是落在io存储上。metaq的性能是远远超过这两个mq的，有一个网友做的比较可以说明一定问题（），但是这不能说metaq比它们就更优秀，因为这跟它们的实现，和面对的场景有很大关系。

activemq和hornetq，这两个mq从诞生起就是为了企业应用而设计的，jms规范本身也是企业应用系统的规范。这一套东西，我个人认为并不适合互联网应用。互联网应用通常面对的是海量的数据，并且通常对事务一致性的要求相对较弱，而企业应用对事务一致性的要求就相对很高。互联网应用为了处理大量请求，通常采用集群处理的方式，而jms规范并不重视分布式应用。我说的这个集群不仅仅是服务端broker的集群，还包括生产者和消费者都可能是一个又一个集群，而传统的jms规范是没有明确处理这些情况的。互联网应用还有一个问题是异构系统特别多，而jms规范只是java ee这个平台上的规范，对异构系统的接入也是一个比较麻烦的地方，不同的实现有很大的差异。

综合来讲，hornetq和activemq是为了企业级应用设计的消息中间件，而metaq从一开始就是为了大规模互联网应用设计的消息中间件，两者面对的场景和需求不同。开发者可根据实际的需求，选择合适的产品。

从mq的发展来看，我们可以看到，出现了越来越多特定领域的消息中间件，例如memcacheq、kestrel、beanstalkd甚至redis，它们很轻量级，并且不想做到全能，而只是解决一个领域的问题，我觉得这是未来的趋势。

metaq的内部是如何实现的？

从实现角度看，metaq充分利用zookeeper这个优秀的服务中心，作为服务注册和查找中心、客户端负载均衡和数据偏移量的分布式存储使用。zookeeper在metaq整个集群中扮演非常关键的角色。

metaq的存储实现与kafka是一致的，充分利用传统磁盘顺序读写非常高效的特点，并且利用group commit、sendfile系统调用等技术来充分提高io效率。

metaq的事务实现跟activemq是类似的，采用redo日志的方式，并遵循jta协议规范来实现分布式事务。

metaq的网络协议跟memcached文本协议类似，因为我本人非常熟悉memcached（开源的客户端是我开发的），但是metaq的协议引入了opaque的映射字段，提高请求的并行度。正因为采用文本协议，为metaq编写其他语言客户端是相对容易，并且管理metaq服务器也变的很容易，比如metaq提供了stats协议，通过telent就可以获取服务器的运行状况。

关于更多的实现细节可以看wiki上的文档：

metaq适合的场景？

  • 日志传输，高吞吐量的日志传输，这本来也是kafka的强项。
  • 消息广播功能，如广播缓存配置失效。
  • 数据的顺序同步功能，如mysql binlog复制。
  • 分布式环境下（broker、producer、consumer都为集群）的消息路由，对顺序和可靠性有极高要求的场景。
  • 作为一般mq来使用的其他功能。

metaq的性能如何？

关于性能，可以看wiki上的性能测试页面

总体来说,metaq的性能还是很优秀，但是很大程度上取决于使用的存储磁盘的性能。

metaq目前的应用情况？

metaq在淘宝每日有十亿级别的消息流转，在支付宝有百亿级别的消息流转（作为storm的spout源），在阿里b2b也有部分应用。

在我目前的avos.com我们也在使用它作为后端系统的消息中间件。就我所知还有部分公司在尝试使用，例如腾讯、京东等。

目前metaq的主要维护者？有其他开发者参与贡献吗？

metaq还有一位主要开发者是我在淘宝的前同事（花名），以及一位非常热心的网友，贡献了不少的文档。

使用metaq应注意哪些事项？

metaq作为一个分布式的消息中间件，需要依赖zookeeper，对于一些规模不大、单机应用的场景，我个人并不是特别支持尝试用metaq，因为多一个依赖系统，其实就是多一份风险，在这些简单场景下，可能类似memcacheq、kestrel甚至redis等轻量级mq就非常合适。而metaq一开始就是为大规模分布式系统设计的，如果不当使用，可能没有带来好处，反而多出一堆问题。开发者需要根据自己面对的场景，团队的技术能力，做出一个合适的选择。

metaq采用的开源协议？该项目的后续开发计划？

metaq采用宽松的、对商业友好的apache 2.0开源协议。

新版本1.4.4一直在开发过程中，但是因为我个人工作重心的转移，整体进展不是特别理想。1.4.4主要想解决易用性和消费者负载均衡的问题。

特别希望有兴趣的朋友参与这个项目的发展，共同学习和促进。

github地址：
  • 大小: 40.2 kb


评论 共 20 条
20 楼 wangguo 2013-01-18 10:45
jen 写道
dennis_zane 写道
warren0827 写道
magic4u 写道
和rabbitmq比较有什么优缺点呢？

同问，你说metaq比activemq, hornetq性能好很多，和rabbitmq比过吗？

rabbitmq没有比较过，不过我个人估计超过rabbitmq是没有悬念的，因为amqp的模型摆在那里。有兴趣可以测试对比看看。


我前段时间测过，1k消息metaq tps 1w多的时候，rabbitmq只有4k左右，rabbitmq消耗cpu较多，metaq消耗io较多，在我的特定机型下也说明不了问题。

亲，无花的博客链接错了，是这个啊http://jen.iteye.com/

sorry，已经改过来了
19 楼 2013-01-18 10:17
dennis_zane 写道
warren0827 写道
magic4u 写道
和rabbitmq比较有什么优缺点呢？

同问，你说metaq比activemq, hornetq性能好很多，和rabbitmq比过吗？

rabbitmq没有比较过，不过我个人估计超过rabbitmq是没有悬念的，因为amqp的模型摆在那里。有兴趣可以测试对比看看。


我前段时间测过，1k消息metaq tps 1w多的时候，rabbitmq只有4k左右，rabbitmq消耗cpu较多，metaq消耗io较多，在我的特定机型下也说明不了问题。

亲，无花的博客链接错了，是这个啊http://jen.iteye.com/
18 楼 2013-01-11 16:50
liuwenjun05101 写道
我测试了一下   总是报线程错误


是不是你自己在配置有问题啊。
17 楼 2013-01-10 11:47
我测试了一下   总是报线程错误
16 楼 2013-01-08 10:27
我正需要一个这样的应用，目前用的activemq
metaq是否解决以下问题：
1、是否支持动态topic，因为我的应用是交互式数据，一个点既是生产者也是消费者
2、数据的可靠性如何？因为涉及账务往来，数据丢失要降到最低
3、互联网中使用，对于网络延迟是否可以正常运行，我的点分布在全国各地
4、是否支持掉线重连，如机房网络故障，客户端是否可以自动重连
5、集群是否能自动切换其他cluster
15 楼 2013-01-04 16:03
是美味书签的程序猿啊，膜拜~~技术上面你们家公司确实很不错，这个专家分享做的不错
14 楼 dennis_zane 2013-01-04 13:30
melin 写道
值得学习的牛人。

ha可以实现自动切换吗？ 当master挂了，能够自动切换到slave上来？不需要人工干预！

抱歉，目前不支持自动切换，不是不能做，而是怕遇到“脑裂”问题。
13 楼 dennis_zane 2013-01-04 13:30
warren0827 写道
magic4u 写道
和rabbitmq比较有什么优缺点呢？

同问，你说metaq比activemq, hornetq性能好很多，和rabbitmq比过吗？

rabbitmq没有比较过，不过我个人估计超过rabbitmq是没有悬念的，因为amqp的模型摆在那里。有兴趣可以测试对比看看。
12 楼 dennis_zane 2013-01-04 13:29
warren0827 写道
能做到实时吗? real time?一般情况latency是多少？

实时可以设置拉取的平均间隔，服务端的刷盘时间等等参数，可以做到毫秒级别的延迟。
11 楼 2013-01-04 13:26
之前朋友给了个美味爱读的邀请码 用了一个月了，感觉真的不错 经常看到高质量文章：）晓丹加油！
10 楼 2013-01-03 21:12
能做到实时吗? real time?一般情况latency是多少？
9 楼 2013-01-03 21:11
magic4u 写道
和rabbitmq比较有什么优缺点呢？

同问，你说metaq比activemq, hornetq性能好很多，和rabbitmq比过吗？
8 楼 2013-01-03 12:51
和rabbitmq比较有什么优缺点呢？
7 楼 2012-12-31 10:29
值得学习
6 楼 2012-12-30 23:32
5 楼 2012-12-29 21:00
4 楼 2012-12-29 18:45
值得学习的牛人。

ha可以实现自动切换吗？ 当master挂了，能够自动切换到slave上来？不需要人工干预！
3 楼 2012-12-29 17:19
一直有关注晓丹，一直在学习着。。
2 楼 2012-12-29 13:36
顶老庄，迟点我们也要考虑用它了
1 楼 2012-12-29 12:56
这个要顶，庄庄

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 瑟玛里斯日常任务——结合扫描 任务领取地点：水星-亚兰达中继站 领取方式：esc - 快速移动 - 智能核心瑟玛里斯（俗称大黄脸） 从大黄脸右边的蓝色圆球处购买“结合扫描器”和“动能吸收陷阱”。 从大黄脸后边的蓝色圆球领取扫描目标任务。 目标位置： 远古干扰者：水星 - m主星（交叉火力歼灭） 天蝎：谷神星 - 莱克斯（捕获） ...

  • 发布时间：2015-10-21[故事背景] 刀锋女皇消失后,虫群分崩离析.吉姆·雷诺将莎拉·凯莉根偷偷带离查尔星,把这个星球留给沃菲尔将军和自治联盟.与此同时,威力强大的萨尔纳加神器消失无踪. 在尤摩捷护卫军的秘密基地里,雷诺和维勒安王子对凯莉根进行 ...标签：发布时间：2016-07-26中上分升段一直是游戏的重要主题,下面小编带来的是幸存者地图流上分攻略,想要飞快升段的幸存者玩家,可以来参考...

  • warframe星际战甲中有很多不同效果的mod，下面给大家推荐一些从初期到毕业都比较强力的mod，下面一起来看看吧。一.战甲篇a：暗影套mod：完成牺牲后黑咖喱自带，如不慎出售，任意中继站simaris处可用集团声望换取。b：步枪增幅：午夜电波兑换不屈不挠：b轮噩梦任务(15.49%)百折不挠：c轮噩梦任务(15.49%)c：成长之力：无赖魅影(6%)ps：完成系列任务落银树庭后使用夜幕药剂挑战...

  • warframe中文wiki(灰机wiki)遭到了大量来路不明爬虫骚扰，由于爬虫已经严重影响了其他托管站点的用户和访问者平等访问、使用灰机平台的权利，我们只能对warframe站点进行暂时性隔离并限制访问隔离期间我们会积极分析日志，加强对非法爬虫、qqbot的反制措施，并收集必要的证据，保留对滥用wiki开放机制，抄袭剽窃wiki内容者采取进一步措施的可能性。隔离治疗期间玩家和用户可以使用狗头人a...

  • 枪兵 水星 捕获 elion 或 地球 捕获 逆进恐鸟 欧罗巴 劫持 sorath 沙漠开膛者 火星 捕获 ara 远古堕落者 虚空 捕获 hepit 德特昂船员 火卫一 歼灭 roche 狂奔者 水星 多方交战歼灭 m prime 禁卫军 谷神星 捕获 lex 以上是所有大黄脸研究项目的目标地点，只统计捕获和歼灭中等级尽可能低的地图 日常任务地点 堕落轰击者 虚空 歼灭 oxomoco 开膛者 谷神星 捕获 lex 病变虫母 阋神星 歼灭 saxis 重型机枪手（白富美） 水星 捕获 elion 疾冲者

  • 淘宝分布式消息中间件metaq安装部署。

  • 1. 消息中间件简介 目前主要提供了无序事务性高性能消息队列notify与有序高性能消息队列rocketmq(metaq)两大类产品，目前rocketmq已经开源（https://github.com/alibaba/rocketmq），产品被包括核心交易在内的几乎...

  • metaq（全称metamorphosis）是一个高性能、高可用、可扩展的分布式消息中间件，思路起源于linkedin的kafka，但并不是kafka的一个copy。metaq具有消息存储顺序写、吞吐量大和支持本地和xa事务等特性，适用于大吞吐量...

  • 1、metaq架构原理 2、metaq原理与应用 ...3、消息中间件notify和metaq-阿里中间件 ...4、中间件学习——metaq ...6、分布式消息中间件 metaq 作者庄晓丹专访 7、metaq技术内幕——源码分析系列

  • 主要名词介绍星币星币是游戏中常用的一种货币。它们可以用来在商店中购买蓝图、配备和一些武器。在铸造厂中制造物品时，通常也需要花费一定数量的星币。在转化振幅晶体时，根据振幅晶体的稀有程度也会按比例收取一定数量的星币。白金白金是游戏内流通的一种货币，它的主要获得渠道为使用现实货币购买。这种货币可以用来购买战甲、武器、配备、守护以及其他一些物品。购买通常需要在游戏内的商店中进行。铸造厂中的加速制造功能也需...

  • 虚荣盒子预期目标承载的内容其实蛮丰富的。当时我大手一挥，随手就写下了 6 个大版本的重点功能规划。版本规划目录v1.0 战绩查询v2.0 统计排行v3.0 分析聚合v4.0 学院媒体v5.0 社交互动v6.0 社区生态版本具体功能设计v1.0 战绩查询实现最基本的根据角色 id，查询最近对局战绩。查看角色概要信息。查看最近对局战绩。查看某局详细信息。说明：这是初始化的第一个版本，为了将战...

  • 枪兵 水星 捕获 elion 或 地球 捕获 逆进恐鸟 火星 多方交战歼灭 ultor 沙漠开膛者 火星 捕获 ara 远古堕落者 虚空 捕获 hepit 德特昂船员 火卫一 歼灭 roche 狂奔者 水星 多方交战歼灭 m prime 禁卫军 谷神星 捕获 lex 以上是所有大黄脸研究项目的目标地点，只统计捕获和歼灭中等级尽可能低的地图 日常任务地点 堕落轰击者 虚空 歼灭 oxomoco 开膛...

  • 展开全部结合e69da5e6ba9062616964757a686964616f31333366303133仪式目标会给予大量的声望，大概3000 左右，而普通的目标大概100左右。拍摄目标发亮的几个点，拍完后目标消失，兑换声望。这里可以使用圣殿提供的物品牵制住目标，具体的说明看一下圣殿的物品即可。注意事项：1、不能杀死目标，否则结合失败。2、必须拍摄所有点，才算完成。3、拍摄需要一段时间，大概2...

  • 分布式消息中间件 metaq 作者庄晓丹专访 百度 ueditor 编辑器创始人战毅专访 javaee 快速开发框架 wabacus 作者访谈 html5图表组件库ichartjs作者王鹤专访 超敏捷 java 开发框架 serviceframework 作者祝海林专访 ...

  • 追溯到metaq的核心开发人员庄晓丹分布式消息中间件 metaq 作者庄晓丹专访 ，为下文将rdis作铺垫 一、metaq介绍 全称metamorphosis，是一个高性能、高可用、可扩展的分布式消息中间件，起源于linkedln的k

  • 程序员必须知道的几个git代码托管平台 ... 阿里 ...有很多重量级的项目，例如lvs、tengine，或者很有实践价值的中间件，例如 metaq(分布式消息系统)、dubbo(rpc框架)、cobar(数据库中间件)，或者是j...

  • 管理系统是一种通过计算机技术实现的用于组织、监控和控制各种活动的软件系统。这些系统通常被设计用来提高效率、减少错误、加强安全性，同时提供数据和信息支持。以下是一些常见类型的管理系统： 学校管理系统： 用于学校或教育机构的学生信息、教职员工信息、课程管理、成绩记录、考勤管理等。学校管理系统帮助提高学校的组织效率和信息管理水平。 人力资源管理系统（hrm）： 用于处理组织内的人事信息，包括员工招聘、培训记录、薪资管理、绩效评估等。hrm系统有助于企业更有效地管理人力资源，提高员工的工作效率和满意度。 库存管理系统： 用于追踪和管理商品或原材料的库存。这种系统可以帮助企业避免库存过剩或不足的问题，提高供应链的效率。 客户关系管理系统（crm）： 用于管理与客户之间的关系，包括客户信息、沟通记录、销售机会跟踪等。crm系统有助于企业更好地理解客户需求，提高客户满意度和保留率。 医院管理系统： 用于管理医院或医疗机构的患者信息、医生排班、药品库存等。这种系统可以提高医疗服务的质量和效率。 财务管理系统： 用于记录和管理组织的财务信息，包括会计凭证、财务报表、预算管理等。财务管理系统

  • gb2312字符集 作用：国家简体中文字符集，兼容ascii。 位数：使用2个字节表示，能表示7445个符号，包括6763个汉字，几乎覆盖所有高频率汉字。 范围：高字节从a1到f7, 低字节从a1到fe。将高字节和低字节分别加上0xa0即可得到编码。 gbk字符集 作用：它是gb2312的扩展，加入对繁体字的支持，兼容gb2312。 位数：使用2个字节表示，可表示21886个字符。 范围：高字节从81到fe，低字节从40到fe。 gb18030字符集 作用：它解决了中文、日文、朝鲜语等的编码，兼容gbk。 位数：它采用变字节表示(1 ascii，2，4字节)。可表示27484个文字。 范围：1字节从00到7f; 2字节高字节从81到fe，低字节从40到7e和80到fe；4字节第一三字节从81到fe，第二四字节从30到39。

  • 毕业设计，安卓app，基于java开发的学生成绩课件管理系统app，包括pc端和安卓anroid手机app，内含java完整源码 安卓andriod学生成绩课件管理系统 系统开发环境: windows myclipse(服务器端) eclipse(手机客户端) mysql数据库 服务器也可以用eclipse或者idea等工具，客户端也可以采用android studio工具！ 系统客户端和服务器端架构技术: 界面层，业务逻辑层，数据层3层分离技术，mvc设计思想！ 服务器和客户端数据通信格式：json格式,采用servlet方式 【服务器端采用ssh框架，请自己启动tomcat服务器，hibernate会自动生成数据库表的哈！】 hibernate生成数据库表后，只需要在admin管理员表中加个测试账号密码就可以登录后台了哈！ 下面是数据库的字段说明： 班级: 班级编号,班级名称,开办日期,班主任 学生: 学号,登录密码,所在班级,姓名,性别,出生日期,学生照片,联系电话,家庭地址 老师: 教师编号,登录密码,姓名,性别,出生日期,联系电话,邮件,地址,

global site tag (gtag.js) - google analytics
网站地图