实时

您的位置:首页>产品 >

解剖屎山,寻觅黄金之第二弹

大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。

在最开始,我的第一版实现是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}


(资料图)

那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}

我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁

确实牛逼。

我基于上面的思路微改了下入口,代码最终演变成这样:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}

到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)

去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):

通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录

为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:

1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉

2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉

从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:

DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);

Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)

而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder

/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMapserviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}

前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:

而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。

LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19

1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。

2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。

3、redis使用lua脚本来保证原子性和减少网络io的损耗

4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)

5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳

针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?

A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。

为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。

为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。

推荐项目

最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。

毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。

如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。

仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin

我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟

VIP服务

关键词:

推荐阅读
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内

2023-04-06 10:02:59

2019年以来,在A股商场全体反弹的一起,亦爆出了多只“地雷股”:或是成绩预告向下批改,或是被质疑财政造假遭到监管部门查

2023-04-06 09:02:06

《名利场》称,在默克多对外宣布订婚消息后,媒体挖出了一些不利于两人关系的信息,比如史密斯曾在年轻时嫁给加州富豪亨廷顿,随后改嫁歌手切

2023-04-06 07:57:14

1、戴云霞,女,1976年5月11日出生在哈尔滨市,毕业于中央戏剧学院表演系影视表演专业,中国内地女演员。2、2009年

2023-04-06 05:59:20

新湖南客户端4月5日讯(通讯员罗泽钦田建新)为大力弘扬雷锋精神,培养学生积极奉献、助人为乐的美德,3月,汝城县教育系

2023-04-06 01:04:45

戴安娜王妃虽然已经陨落20年零4个月,但依然是英国民众心中的女神!她改变了英国民众对皇室的认知,而且也引领了时尚界的发展;如今戴安娜王妃

2023-04-05 21:55:54

蒲公英是一种营养丰富、药食兼用的植物,具有多种健康營養成分。以下是蒲公英的食用方法、采摘及存储相关知识:食用方法:蒲公英可以生吃、炒

2023-04-05 20:06:17

解码贵州文旅新势力

2023-04-05 18:10:45

金投白银网提供贵州省造老银元价格(2023年04月04日),贵州银元最新消息(2023年04月04日)。

2023-04-05 16:50:44

“阴雨天气已过,明天或后天开始赤霉病防治工作,计划进行两次药物喷晒……”4月5日,仪征市新集镇花园村村部西侧一大片小麦田里,正在查看苗

2023-04-05 15:23:34

【“云祭扫”后殡葬产业开始试水元宇宙】尽管“云祭扫”的概念在2014年前后就已被提出,但在VR(虚拟现实)、AR(增强现实)、XR(混合现实)甚至Cha

2023-04-05 13:57:34

剁碎枫叶煮水,泡糯米……4月4日一大早,家住南宁市兴宁区明秀东路的农阿姨在厨房里忙碌着。临近清明时节和“壮族三月三”,很多南宁市民开始

2023-04-05 11:58:45

忽见家家插杨柳始知今日是清明今天9时13分我们迎来二十四节气中的第五个节气清明桃花初绽,杨柳泛青莺飞草长,风轻雨润万物生长此时皆清洁而明

2023-04-05 10:42:33

大洋世家突击分红,带着资金窟窿IPO,大洋,鱿鱼,远洋,分红,金枪鱼,鲁伟鼎

2023-04-05 09:17:20

斑马消费杨伟随着消费复苏的快速到来,福成股份正在加大投资力度,意图抢占产业先机。公司计划继续投入6 5亿元新建两个万头肉牛养殖场,并同步

2023-04-05 07:50:47

德甲联赛1次冠军得主、赛前在德甲积分榜排名第6的法兰克福队迎来了德国杯四分之一决赛的较量,法兰克福队此役坐镇自己的主场PK赛前在德甲排名

2023-04-05 05:50:46

4月4日,嘉实时代先锋三年持有混合A最新单位净值为0 6766元,累计净值为0 6766元,较前一交易日下跌1 18%。历史数据显示该基金近1个月下跌4 49

2023-04-05 02:16:56

家属在海上缅怀逝去的亲人。受访者供图骨灰被缓缓倒入降解罐,罐子是雪白的莲花形状,家属在罐上缀上鲜花。船驶向了定点投放海域

2023-04-04 22:33:20

1、就是你能忍受别人触犯你的底线,,我个人认为:一个人的原则太低就不是很好的,,。本文就为大家分享到这里,希望小伙伴们会

2023-04-04 21:20:14

4月4日,券商给予目标涨幅最高的10只股票分别为:德方纳米、蒙娜丽莎、兴业银行、中航重机、健友股份、浙商银行、中国重汽、上海电力、浙能电

2023-04-04 20:02:10