架构运维
在这个技术方向,积累扎实的知识与实践。
共 317 篇文章Apache Doris在美团外卖数仓中的应用实践
序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析,由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题,他们通过引入Apache Doris引擎优化生产方案,实现了低成本生产与高效查询的平衡。并以此分析不同业务场景下,基于Kylin的MOLAP模式与基于Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。…
一图看懂6种API架构模式
刚刚摸鱼刷了一会儿X,正好看到一张非常棒的动图,顺手给大家分享一下。 这张动图中包含6个简短的动画,分别总结了我们日常开发中最常见的6中API模式: 动图转自:https://twitter.com/AmigosCode/status/1701563810300006661 图中所描述的6种API模式分别是: gRPC…
基于代价的慢查询优化建议
1 背景 慢查询是指数据库中查询时间超过指定阈值(美团设置为100ms)的SQL,它是数据库的性能杀手,也是业务优化数据库访问的重要抓手。随着美团业务的高速增长,日均慢查询量已经过亿条,此前因慢查询导致的故障约占数据库故障总数的10%以上,而且高级别的故障呈日益增长趋势。因此,对慢查询的优化已经变得刻不容缓。…
远程热部署在美团的落地实践
Sonic是美团内部研发设计的一款用于热部署的IDEA插件,本文其实现原理及落地的一些技术细节。在阅读本文之前,建议大家先熟悉一下 Spring源码 、 Spring MVC 源码 、 Spring Boot源码 、 Agent字节码增强 、 Javassist 、 Classloader 等相关知识。 1 前言 1.1 什么是热部署…
Redis过期回调一场灾难性之旅(redis过期回调的坑)
Redis是一个流行的NoSQL数据库系统,被广泛应用于各种场景中。然而,在使用Redis时,我们经常会遇到一些问题,其中之一就是过期键回调问题。过期回调是指在Redis中,当一个键被设置了过期时间后,如果在过期时间到达之前这个键被更新了,那么原来设置的过期时间就会失效。这种情况下,我们需要一种方法来处理这个过期事件。…
支付宝定时任务怎么做?三层分发任务处理框架介绍
一、背景介绍 技术同学对定时任务肯定不陌生。定时任务一般用来定时批量进行业务处理。支付宝卡包券到期提醒、删除过期失效券,五福大促批量给用户发放添福红包等场景,都是通过定时任务触发来完成的。…
图解 DataX 核心设计原理
作者简介 作者张乘辉,擅长消息中间件技能,负责公司百万 TPS 级别 Kafka 集群的维护,作者维护的公号「后端进阶」不定期分享 Kafka、RocketMQ 系列不讲概念直接真刀真枪的实战总结以及细节上的源码分析;同时作者也是阿里开源分布式事务框架 Seata Contributor,因此也会分享关于 Seata 的相关知识;当然公号也会分享 WEB…