资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

SparkStreaming中RateController是什么

本篇内容主要讲解“Spark Streaming中RateController是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Spark Streaming中RateController是什么”吧!

10多年的丽水网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。成都全网营销的优势是能够根据用户设备显示端的尺寸不同,自动调整丽水建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。成都创新互联公司从事“丽水网站设计”,“丽水网站推广”以来,每个客户项目都认真落实执行。

Spark Streaming中采用的模型如下,基本思想是按照100ms的批次发送数据给Controller,刚开始Controller直接转给JobGenerator,JobGenerator在生成Job,交给JobProcessor来处理,JobProcessor将job统计信息发送给Controller,Controller接收到统计信息,会动态改变Batch Size来给Job发送数据。

RateController的子类有ReceiverRateController、DirectKafkaRateController。

ReceiverRateController会向receiverTracker发送UpdateReceiverRateLimit消息。

ReceiverTracker接收到UpdateReceiverRateLimit消息后,向ReceiverSupervisorImpl转发UpdateRateLimit消息。

ReceiverSupervisorImpl接收到UpdateRateLimit消息后,调用BlockGenerator的updateRate方法,来控制数据的接收速度。

BlockGenerator继承自RateLimiter。

到此,相信大家对“Spark Streaming中RateController是什么”有了更深的了解,不妨来实际操作一番吧!这里是箭头云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!


网站名称:SparkStreaming中RateController是什么
URL标题:http://www.cdkjz.cn/article/cpjoeo.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220