Blink 有何特别之处?菜鸟供应链场景最佳实践(4)

下面是相关参数,用户可以直接在 Blink 的作业参数中进行配置。

[转载出处:www.11jj.com]

  • # miniBatch/microBatch攒批的间隔时间blink.miniBatch.allowLatencyMs=5000blink.microBatch.allowLatencyMs=5000# 防止OOM,每个批次最多缓存多少条数据blink.miniBatch.size=20000
    # 开启LocalGlobalblink.localAgg.enabled=true# 开启PartialFinalblink.partialAgg.enabled=true超时统计
    [好文分享:www.11jj.com]

    上架是仓储业务的重要组成部分。上架,顾名思义,就是要把到仓的货品,上到仓库的存储货架上。上架一般分为采购上架、销退上架、调拨上架等。及时上架是对仓库的重要考核项之一,无论哪一种类型的上架,我们经常需要针对到货后超过 x 小时未上架的订单进行预警。

    但是,Blink 的计算是消息机制,需要上游发送消息才能触发下游计算,而上述的场景中,未上架就说明不会有上架的消息流入 Blink,进而无法完成下游的计算。

    对于这种实时超时统计的问题,应该如何来解呢?我们尝试了几种方案,供参考:

    方案1:针对部分 Source Connector,Blink 提供了"延时下发"的功能,用户可以通过指定 DataDeliveryDelayMs 参数,实现消息延迟下发。正常的消息正常流入,正常消息也可以通过配置该参数,使其按照自己的需求延时流入。这样,通过正常流入的消息关联延时流入的消息,可以触发 Blink 在消息正常流入时计算一次,在延时消息流入时再触发计算一次。这种方案,可以实现我们的业务需求,但是这种方案会把所有消息重新发送一遍,而不仅仅是到货后超过x小时未上架的消息,这样会造成计算资源的浪费,我们不建议在数据量很大的场景下使用该方案。

    方案2:如果有第三方的消息中间件,而这个消息中间件又能支持配置超时下发的规则,这将是一个比较好的方案。据了解,Kafka 的最新版本已经能够根据业务需求,配置消息超时下发的规则。我们只需要在 Blink 中,通过正常流入的消息流关联关键Kafka 超时下发的消息流,就可以触发 Blink 进行超时消息的统计。这样,除了Blink,我们需要同时保障 Kafka 的稳定性。Kafka的超时消息订阅,可以参见:[1]。

    方案3:我们能够很自然的想到 CEP,而 Blink 也已经提供了 CEP 的功能,且已经SQL化。用户可以通过 Blink CEP 完成上述业务需求的统计。在实操过程中,我们发现,通过 Blink CEP 统计的结果,往往与真实结果(明细汇总统计)有一定的出入。什么原因呢?原来到货时间,被回传了多次,有可能开始回传的是9点,但是后面发现回传错了,改成了8点,而 CEP 的 Watermark 是全局地向前走的,对于这种场景,无法很好的适配。

    自媒体 微信号:11jj 扫描二维码关注公众号
    爱八卦,爱爆料。

    小编推荐

    1. 1

      新学期新计划400字左右作文(新学期新计划作文800字)

      大家好,小美今天来为大家解答新学期新计划400字左右作文以下问题,新学期新计划作文800字很多人还不知道,现在让我们一起来看看吧!1、篇一:

    2. 2

      水生木金生水(水生木,木生金)

      大家好,小豪今天来为大家解答水生木金生水以下问题,水生木,木生金很多人还不知道,现在让我们一起来看看吧!1、金生水。2、金生水:金凝结

    3. 3

      【集团动态】阅读悦美·共沐书香——银川七幼开展读书节系列活动之教职工读书分享会

      阅读悦美·共沐书香银川七幼念书节系列运动之教职工念书分享会最丽人间四月天,书香盈盈润内心。为培养师幼阅读习惯,以书香滋润校园,2024年

    4. 4

      【媒体聚焦】多地纪检监察机关加大对老旧小区改造工作的监督力度——解决居民关切的实际问题(基层治理新实践)

      习近平总书记指出:“老旧小区革新是城市更新的一个重点,也是一项民生工程,既要保留汗青记忆和特色风貌,又要解决居民关切的实际问题。”

    5. 5

      spss信度效度分析步骤(spss信度效度分析操作步骤)

      大家好,小丽今天来为大家解答spss信度效度分析步骤以下问题,spss信度效度分析操作步骤很多人还不知道,现在让我们一起来看看吧!1、打开SPSS软

    6. 6

      广西气象台海洋天气(广西海洋天气预报)

      大家好,小豪今天来为大家解答广西气象台海洋天气以下问题,广西海洋天气预报很多人还不知道,现在让我们一起来看看吧!1、广西气象台2022年

    7. 7

      春天荨麻疹怎样预防和治疗

      春季光降,万象更新,也是各类皮肤疾病,包罗荨麻疹的高发季候。对此,公家需接纳一系列预防办法,并正确认识治疗方式,以确保健康渡过这段

    8. 8

      抓经济促发展—那诺乡以鱼增收,搅活乡村振兴“春水”

      为有效盘活水库资源,促进村庄旅行财富成长,络续强大村集体经济,实现“以鱼清水、以鱼养水、以鱼增收”,那诺乡随机应变,鞭策抓经

    Copyright 2024.依依自媒体,让大家了解更多图文资讯!