分布式消息中间件 metaq 作者庄晓丹专访 -买球官网平台

2012-12-29  编辑 wangguo 评论(20条) 有72200人浏览
metaq(全称metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于linkedin的kafka,但并不是kafka的一个copy。metaq具有消息存储顺序写、吞吐量大和支持本地和xa事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,目前在淘宝和支付宝有着广泛的应用。

github地址:

为了使大家对metaq有进一步的了解,本期我们采访了metaq的核心开发者庄晓丹。

iteye期待并致力于为国内优秀的开源项目提供一个免费的推广平台,如果你和你的团队希望将自己的开源项目介绍给更多的开发者,或者你希望我们对哪些开源项目进行专访,请告诉我们,发站内短信给或者发邮件到[email protected]即可。

先来个自我介绍吧!

我叫庄晓丹,工作5年左右,工作经历比较杂,在创业公司呆过,在大公司呆过。目前在avos的中国分公司工作,我们的主要产品是美味书签(和中文版的)、美味爱读()等。我的主要工作语言是clojure/java,编程既是我的工作,也是兴趣爱好。

metaq是什么?能做什么?

metaq(全称为metamorphosis)是一个淘宝开源的分布式的消息中间件,它是纯java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。这个产品是我在淘宝中间件团队发起并作为核心开发者的一个项目。第一个版本的完整代码包括完整的单元测试是我在两周内(印象中是,可能更短)写出来的。

metaq既然是一个消息中间件,那么消息中间件能做的事情,metaq都是可以做到的。消息中间件作为分布式系统可扩展、可伸缩性的关键一环,metaq可以起到很好的作用。

metaq项目的由来?

metaq的起源是我从对linkedin的开源mq(现在转移到的学习开始的,这是一个设计很独特的mq系统,它采用pull机制,而不是一般mq的push模型,它大量利用了zookeeper做服务发现和offset存储,它的设计理念我非常欣赏并赞同,强烈建议有兴趣的同学阅读一下它的,总体上说metaq的设计跟它是完全一致的。

可不可以说metaq是apache kafka的java实现 & 功能增强版本?

可以这样说,因为总体的设计是一致的,但是我们做了很多优化和改进。

可以简单概括下我们重新写metaq的原因:

  • kafka是scala写的,我对scala不熟悉,并且在当时kafka整个社区的发展太缓慢了。
  • 有一些功能是kakfa没有实现,但是我们却需要,比如事务、多种offset存储、高可用方案(ha)等
meta相对于kafka特有的一些功能:

  • 文本协议设计,非常透明,支持类似memcached stats的协议来监控broker
  • 纯java实现,从通讯到存储,从client到server都是重新实现。
  • 提供事务支持,包括本地事务和xa分布式事务
  • 支持ha复制,包括异步复制和同步复制,保证消息的可靠性
  • 支持异步发送消息
  • 消费消息失败,支持本地恢复
  • 多种offset存储支持,数据库、磁盘、zookeeper,可自定义实现
  • 支持group commit,提升数据可靠性和吞吐量。(目前kafka已实现)
  • 支持消息广播模式
  • 一系列配套项目:python/ruby/c/c 客户端、twitter storm的spout、tail4j等。

与其他消息系统(如activemq、hornetq)相比,metaq有哪些优势或特点?

activemq和hornetq都是符合java ee中jms规范的mq实现,两者都是很优秀的开源mq。同时两者也不局限在jms规范,同时也支持其他一些mq协议,如stomp协议、amqp协议等。相比来说,就我当时了解的情况来看,hornetq的性能会比activemq更强,因为hornetq使用jni基于异步io做了更多优化,而对于mq来说,最终的瓶颈都是落在io存储上。metaq的性能是远远超过这两个mq的,有一个网友做的比较可以说明一定问题(),但是这不能说metaq比它们就更优秀,因为这跟它们的实现,和面对的场景有很大关系。

activemq和hornetq,这两个mq从诞生起就是为了企业应用而设计的,jms规范本身也是企业应用系统的规范。这一套东西,我个人认为并不适合互联网应用。互联网应用通常面对的是海量的数据,并且通常对事务一致性的要求相对较弱,而企业应用对事务一致性的要求就相对很高。互联网应用为了处理大量请求,通常采用集群处理的方式,而jms规范并不重视分布式应用。我说的这个集群不仅仅是服务端broker的集群,还包括生产者和消费者都可能是一个又一个集群,而传统的jms规范是没有明确处理这些情况的。互联网应用还有一个问题是异构系统特别多,而jms规范只是java ee这个平台上的规范,对异构系统的接入也是一个比较麻烦的地方,不同的实现有很大的差异。

综合来讲,hornetq和activemq是为了企业级应用设计的消息中间件,而metaq从一开始就是为了大规模互联网应用设计的消息中间件,两者面对的场景和需求不同。开发者可根据实际的需求,选择合适的产品。

从mq的发展来看,我们可以看到,出现了越来越多特定领域的消息中间件,例如memcacheq、kestrel、beanstalkd甚至redis,它们很轻量级,并且不想做到全能,而只是解决一个领域的问题,我觉得这是未来的趋势。

metaq的内部是如何实现的?

从实现角度看,metaq充分利用zookeeper这个优秀的服务中心,作为服务注册和查找中心、客户端负载均衡和数据偏移量的分布式存储使用。zookeeper在metaq整个集群中扮演非常关键的角色。

metaq的存储实现与kafka是一致的,充分利用传统磁盘顺序读写非常高效的特点,并且利用group commit、sendfile系统调用等技术来充分提高io效率。

metaq的事务实现跟activemq是类似的,采用redo日志的方式,并遵循jta协议规范来实现分布式事务。

metaq的网络协议跟memcached文本协议类似,因为我本人非常熟悉memcached(开源的客户端是我开发的),但是metaq的协议引入了opaque的映射字段,提高请求的并行度。正因为采用文本协议,为metaq编写其他语言客户端是相对容易,并且管理metaq服务器也变的很容易,比如metaq提供了stats协议,通过telent就可以获取服务器的运行状况。

关于更多的实现细节可以看wiki上的文档:

metaq适合的场景?

  • 日志传输,高吞吐量的日志传输,这本来也是kafka的强项。
  • 消息广播功能,如广播缓存配置失效。
  • 数据的顺序同步功能,如mysql binlog复制。
  • 分布式环境下(broker、producer、consumer都为集群)的消息路由,对顺序和可靠性有极高要求的场景。
  • 作为一般mq来使用的其他功能。

metaq的性能如何?

关于性能,可以看wiki上的性能测试页面

总体来说,metaq的性能还是很优秀,但是很大程度上取决于使用的存储磁盘的性能。

metaq目前的应用情况?

metaq在淘宝每日有十亿级别的消息流转,在支付宝有百亿级别的消息流转(作为storm的spout源),在阿里b2b也有部分应用。

在我目前的avos.com我们也在使用它作为后端系统的消息中间件。就我所知还有部分公司在尝试使用,例如腾讯、京东等。

目前metaq的主要维护者?有其他开发者参与贡献吗?

metaq还有一位主要开发者是我在淘宝的前同事(花名),以及一位非常热心的网友,贡献了不少的文档。

使用metaq应注意哪些事项?

metaq作为一个分布式的消息中间件,需要依赖zookeeper,对于一些规模不大、单机应用的场景,我个人并不是特别支持尝试用metaq,因为多一个依赖系统,其实就是多一份风险,在这些简单场景下,可能类似memcacheq、kestrel甚至redis等轻量级mq就非常合适。而metaq一开始就是为大规模分布式系统设计的,如果不当使用,可能没有带来好处,反而多出一堆问题。开发者需要根据自己面对的场景,团队的技术能力,做出一个合适的选择。

metaq采用的开源协议?该项目的后续开发计划?

metaq采用宽松的、对商业友好的apache 2.0开源协议。

新版本1.4.4一直在开发过程中,但是因为我个人工作重心的转移,整体进展不是特别理想。1.4.4主要想解决易用性和消费者负载均衡的问题。

特别希望有兴趣的朋友参与这个项目的发展,共同学习和促进。

github地址:
  • 大小: 40.2 kb


评论 共 20 条
20 楼 wangguo 2013-01-18 10:45
jen 写道
dennis_zane 写道
warren0827 写道
magic4u 写道
和rabbitmq比较有什么优缺点呢?

同问,你说metaq比activemq, hornetq性能好很多,和rabbitmq比过吗?

rabbitmq没有比较过,不过我个人估计超过rabbitmq是没有悬念的,因为amqp的模型摆在那里。有兴趣可以测试对比看看。


我前段时间测过,1k消息metaq tps 1w多的时候,rabbitmq只有4k左右,rabbitmq消耗cpu较多,metaq消耗io较多,在我的特定机型下也说明不了问题。

亲,无花的博客链接错了,是这个啊http://jen.iteye.com/

sorry,已经改过来了
19 楼 2013-01-18 10:17
dennis_zane 写道
warren0827 写道
magic4u 写道
和rabbitmq比较有什么优缺点呢?

同问,你说metaq比activemq, hornetq性能好很多,和rabbitmq比过吗?

rabbitmq没有比较过,不过我个人估计超过rabbitmq是没有悬念的,因为amqp的模型摆在那里。有兴趣可以测试对比看看。


我前段时间测过,1k消息metaq tps 1w多的时候,rabbitmq只有4k左右,rabbitmq消耗cpu较多,metaq消耗io较多,在我的特定机型下也说明不了问题。

亲,无花的博客链接错了,是这个啊http://jen.iteye.com/
18 楼 2013-01-11 16:50
liuwenjun05101 写道
我测试了一下   总是报线程错误


是不是你自己在配置有问题啊。
17 楼 2013-01-10 11:47
我测试了一下   总是报线程错误
16 楼 2013-01-08 10:27
我正需要一个这样的应用,目前用的activemq
metaq是否解决以下问题:
1、是否支持动态topic,因为我的应用是交互式数据,一个点既是生产者也是消费者
2、数据的可靠性如何?因为涉及账务往来,数据丢失要降到最低
3、互联网中使用,对于网络延迟是否可以正常运行,我的点分布在全国各地
4、是否支持掉线重连,如机房网络故障,客户端是否可以自动重连
5、集群是否能自动切换其他cluster
15 楼 2013-01-04 16:03
是美味书签的程序猿啊,膜拜~~技术上面你们家公司确实很不错,这个专家分享做的不错
14 楼 dennis_zane 2013-01-04 13:30
melin 写道
值得学习的牛人。

ha可以实现自动切换吗? 当master挂了,能够自动切换到slave上来?不需要人工干预!

抱歉,目前不支持自动切换,不是不能做,而是怕遇到“脑裂”问题。
13 楼 dennis_zane 2013-01-04 13:30
warren0827 写道
magic4u 写道
和rabbitmq比较有什么优缺点呢?

同问,你说metaq比activemq, hornetq性能好很多,和rabbitmq比过吗?

rabbitmq没有比较过,不过我个人估计超过rabbitmq是没有悬念的,因为amqp的模型摆在那里。有兴趣可以测试对比看看。
12 楼 dennis_zane 2013-01-04 13:29
warren0827 写道
能做到实时吗? real time?一般情况latency是多少?

实时可以设置拉取的平均间隔,服务端的刷盘时间等等参数,可以做到毫秒级别的延迟。
11 楼 2013-01-04 13:26
之前朋友给了个美味爱读的邀请码 用了一个月了,感觉真的不错 经常看到高质量文章:)晓丹加油!
10 楼 2013-01-03 21:12
能做到实时吗? real time?一般情况latency是多少?
9 楼 2013-01-03 21:11
magic4u 写道
和rabbitmq比较有什么优缺点呢?

同问,你说metaq比activemq, hornetq性能好很多,和rabbitmq比过吗?
8 楼 2013-01-03 12:51
和rabbitmq比较有什么优缺点呢?
7 楼 2012-12-31 10:29
值得学习
6 楼 2012-12-30 23:32
5 楼 2012-12-29 21:00
4 楼 2012-12-29 18:45
值得学习的牛人。

ha可以实现自动切换吗? 当master挂了,能够自动切换到slave上来?不需要人工干预!
3 楼 2012-12-29 17:19
一直有关注晓丹,一直在学习着。。
2 楼 2012-12-29 13:36
顶老庄,迟点我们也要考虑用它了
1 楼 2012-12-29 12:56
这个要顶,庄庄

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 淘宝分布式消息中间件metaq安装部署。

  • 1. 消息中间件简介 目前主要提供了无序事务性高性能消息队列notify与有序高性能消息队列rocketmq(metaq)两大类产品,目前rocketmq已经开源(https://github.com/alibaba/rocketmq),产品被包括核心交易在内的几乎...

  • metaq(全称metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于linkedin的kafka,但并不是kafka的一个copy。metaq具有消息存储顺序写、吞吐量大和支持本地和xa事务等特性,适用于大吞吐量...

  • 1、metaq架构原理 2、metaq原理与应用 ...3、消息中间件notify和metaq-阿里中间件 ...4、中间件学习——metaq ...6、分布式消息中间件 metaq 作者庄晓丹专访 7、metaq技术内幕——源码分析系列

  • 分布式消息中间件 metaq 作者庄晓丹专访 百度 ueditor 编辑器创始人战毅专访 javaee 快速开发框架 wabacus 作者访谈 html5图表组件库ichartjs作者王鹤专访 超敏捷 java 开发框架 serviceframework 作者祝海林专访 ...

  • 追溯到metaq的核心开发人员庄晓丹分布式消息中间件 metaq 作者庄晓丹专访 ,为下文将rdis作铺垫 一、metaq介绍 全称metamorphosis,是一个高性能、高可用、可扩展的分布式消息中间件,起源于linkedln的k

  • 程序员必须知道的几个git代码托管平台 ... 阿里 ...有很多重量级的项目,例如lvs、tengine,或者很有实践价值的中间件,例如 metaq(分布式消息系统)、dubbo(rpc框架)、cobar(数据库中间件),或者是j...

global site tag (gtag.js) - google analytics