大数据流处理:Flume、Kafka和NiFi对比

  在构建大数据流水线时,我们需要考虑处理数据的数量,种类和速度,这些数据通常出现在Hadoop生态系统的入口。在决定采用哪种工具来满足我们的要求时,都会考虑到可扩展性、可靠性、适应性、开发时间方面的成本等初步因素。在本文中,我们将简要介绍三种Apache处理工具:Flume,Kafka和NiFi。这三种产品都具有出色的性能,可以横向扩展,并提供插件机制,可通过自定义组件扩展功能。

  Apache Flume

  Flume部署由一个或多个使用拓扑配置的代理组成。Flume代理是一个JVM进程,它承载Flume拓扑的基本构建块,即源、通道和接收器。Flume客户机将事件发送到源,该源将这些事件成批放置到名为channel的临时缓冲区中,然后从该缓冲区中数据流到连接到数据最终目的地的接收器。接收器也可以是其他Flume代理的后续数据源。代理可以被链接,并且每个代理都有多个源、通道和接收器。

  

大数据流处理:Flume、Kafka和NiFi对比

 

  Flume是一个分布式系统,可用于收集、聚合流事件并将其传输到Hadoop中。它有许多内置的源、通道和接收器,例如Kafka通道和Avro接收器。Flume是基于配置的,它有拦截器来对通道中的数据执行简单的转换。

  如果不小心,使用Flume很容易丢失数据。例如,为高吞吐量选择内存通道有一个缺点,即当代理节点关闭时,数据将丢失。文件通道将以增加延迟为代价提供持久性。即使如此,由于数据没有复制到其他节点,因此文件通道仅与底层磁盘一样的可靠性。Flume通过多跳/扇入扇出流提供了可伸缩性。对于高可用性(HA),可以水平扩展代理。

  Apache Kafka

  Kafka是一种分布式、高吞吐量的消息总线,它将数据生产者与消费者分离开来。消息被组织成主题,主题被拆分成分区,分区被跨集群中的节点(称为代理)复制。与Flume相比,Kafka具有更好的可扩展性和消息持久性。Kafka现在有两种风格:一种是“经典”的生产者/消费者模型,另一种是新的Kafka-Connect,它为外部数据存储提供可配置的连接器(源/接收器)。

  

大数据流处理:Flume、Kafka和NiFi对比

 

  Kafka可用于大型软件系统组件之间的事件处理和集成。此外,Kafka附带了Kafka流,它可以用于简单的流处理,而不需要像Apache Spark或Apache Flink那样的单独集群。

  由于消息被持久化在磁盘上,并且在集群中被复制,因此数据丢失情况不像Flume那样常见。也就是说,无论是使用Kafka客户端还是通过Connect API,生产者/来源和消费者/接收器通常都需要自定义编码。与Flume一样,消息大小也有限制。最后,为了能够进行通信,Kafka的生产者和消费者必须就协议、格式和架构达成一致,这在某些情况下可能会有问题。

  Apache NiFi

  与Flume和Kafka不同,NiFi可以处理任意大小的消息。在基于Web的拖放式用户界面后面,NiFi在集群中运行,并提供实时控制,使您可以轻松管理任何源和任何目标之间的数据移动。它支持不同格式、模式、协议、速度和大小的分散和分布式源。

  NiFi可以用于具有严格安全性和合规性要求的关键任务数据流中,在那里我们可以可视化整个过程并实时进行更改。在撰写本文时,它有近200个随时可用的处理器(包括Flume和Kafka处理器),可以进行拖放、配置和立即投入使用。NiFi的一些关键特性是优先级排队、数据跟踪和每个连接的背压阈值配置。

  尽管NiFi用于创建容错生产管道,但它还没有像Kafka那样复制数据。如果一个节点发生故障,那么可以将流定向到另一个节点,但是排队等待故障节点的数据必须等待该节点恢复。NiFi不是一个成熟的ETL工具,也不是复杂计算和事件处理(CEP)的理想选择。为此,它应该连接到Apache Flink,Spark Streaming或Storm等流式传输框架。

  组合

  没有哪个工具 满足您的所有要求。组合以更好方式执行不同操作的工具可以实现功能的增强,并提高处理更多场景的灵活性。根据您的需求,NiFi和Flume都可以充当Kafka生产者或消费者。

  Flume-Kafka集成非常受欢迎,它有自己的名字:Flafka(我不是这样做的)。Flafka包括Kafka源,Kafka通道和Kafka池。结合Flume和Kafka,Kafka可以避免自定义编码并利用Flume经过实战考验的资源和接收器,通过Kafka通道的Flume事件将在Kafka代理中进行存储和复制,以实现弹性。

  组合工具可能看起来很浪费,因为它似乎在功能比较重叠。例如,NiFi和Kafka都提供了代理来连接生产者和消费者。但是,它们的做法不同:在NiFi中,大部分数据流逻辑不在生产者/消费者内部,而是在代理中,允许集中控制。NiFi的构建是为了做一件重要的事情:数据流管理。通过两种工具的结合,NiFi可以充分利用Kafka可靠的流数据存储,同时解决Kafka无法解决的数据流挑战。

  END

  总结:

  

大数据流处理:Flume、Kafka和NiFi对比

用户喜欢...

大数据对投资和金融世界的影响

大数据对投资的影响是巨大的,并将改变金融世界和人们的投资习惯。 传统上,投资世界是平淡无奇的,并且具有排他性。投资工具彼此之间差别不大,最低资本要求意味着投资也只能供给少...


大兴机场亮相科技感十足 千锋教育培养科技时代精英

作为20年内全球范围规划新建设的最大机场之一,大兴国际机场从开工建设到9月25日正式投入使用,每一步都吸引着全球的目光。借助5G、人脸识别、VR体验等前沿科技,大兴国际机场,值机、...


英特尔助力阿里云创造世界纪录 加速大数据计算创新突破

在2019年云栖大会上,英特尔与阿里巴巴共同宣布,在国际大数据性能基准测试TPCx-BB[1]中,由英特尔支持的阿里云MaxCompute以100TB的数据规模创造世界纪录。TPCx-BB是目前业界最全面的端到端大数...


大数据如何改变社交媒体营销

如今,大数据在市场营销中发挥重要作用,并以许多方式正在改变社交媒体营销。 大数据是近年来促进营销领域的最令人印象深刻的技术进步之一。虽然在某些圈子里,大数据已经成为一个流...


区块链如何改变大数据行业?

很多人都听到过大数据这个术语,它可能出现在与科技行业相关的视频中,也可能出现在人们的办公室里。大数据是2019年的热门话题之一,每个技术爱好者都在讨论它带来的变化和影响。 大数...


应该在云中存储大数据的5个理由

如果不确定如何正确存储大数据,则应该将大数据存储在云中。 信息存储只能通过位于隐蔽位置的传统远程服务器来完成的日子已经一去不复返了。如今采用云端存储数据,其中信息和数据以...


从云计算大数据等方面建立评价体系

中国生产力学会承办的第十九届世界生产力大会将于2019年11月16日至18日在中国成都召开。来自世界不同的国家或地区的工商界领袖、政界人物、行业管理者、生产力科学领域专家学者等相关人...


人工智能和大数据存在什么隐患?

从数据稀缺到现在有大量的数据,近年来,可用的数据量呈指数级增长,大数据变得无处不在。这是由于数据记录设备数量的巨大增长,以及这些设备之间通过物联网连接。似乎每个人都有收...


全球女性智慧共享平台——全球魅力女性学院盛大揭幕

2019年9月14日,全球女性智慧共享平台全球魅力女性学院在中美建交40周年庆典上正式揭幕。美国前总统卡特儿子奇普卡特、全国职业教育教学改革创新指导委员会副主任委员刘延申等各界嘉宾应...


谷歌将追加投资30亿欧元扩大欧洲数据中心

谷歌公司CEO皮查伊今天在芬兰举行的新闻发布会上宣布,谷歌将追加投资30亿欧元扩大欧洲数据中心。 谷歌的这一投资计划包括对芬兰哈米纳数据中心追加投资6亿欧元,使得该公司在哈米纳数...


百度视频8月影视大数据报告 国产片势头强劲

8月,影视剧延续暑期的热度。国产片势头强劲,《哪吒之魔童降世》、《烈火英雄》等影片热度持续飙升;电视剧也很丰富多彩,都市家庭、古装、奇幻等题材的多部高口碑、高热度剧相继登场...


上海市大数据中心与顺丰速运上海公司昨日签署合作框架协议

上海市大数据中心与顺丰速运上海公司昨日签署合作框架协议,今后一网通办服务中,用户在物流寄送方面除了现有的邮政EMS,还可以选择顺丰。上海市委常委、常务副市长陈寅等见证签约仪...


中国电信在宁夏建大型数据中心 总投资额达10亿元

据悉,9月19日上午,在中卫市西部云基地内,中卫市2019年第三季度重大项目集中开工现场推进会正式召开。本次集中开工的项目共有38个,投资总额在55亿元。其中有22.8亿元投资将计划在年度...


促进电子邮件营销转换的5个大数据策略

采用大数据可以显著改进和增加电子邮件营销转换率。企业在电子邮件营销方面可以尝试大数据策略。 大数据几乎在数字营销领域的每个方面都发挥着至关重要的作用,企业可以使用大数据来...


中国大数据市场保持稳定增长

咨询机构IDC最新发布的报告预测,2019年,大数据与商业分析解决方案全球市场的整体收益将达到1896.6亿美元(约合人民币13495.1亿元),这一数字相比2018年增长12.1%。在2019年~2023年的预测期内,全...


贵州大学迎新首次使用大数据

拍张全家福 9月16日,贵州大学迎来了来自全国各地的9436名本科新生,其中包括了7600余名00后小萌新,1800余名90后萌新。迎新现场,由学长学姐们组成的迎新志愿者,从接车、报到、办理入住手...