“Spring Boot 无法扩展。”
“你需要切换到 Rust 或 Go 语言才能应对高负载。”
“Java 对于实时性能来说太重了。”

这些话我都听过。

但其实如果优化得当，Spring Boot 能够实现非常出色的扩展。

这是一个关于我们如何优化一个 Spring Boot 服务，使其能够在不使系统不堪重负的情况下，每秒处理 100 万次请求（1M RPS）的故事和指南。如果你正在处理高吞吐量系统，并且想继续使用 Java，那么这篇文章就是为你准备的。

背景

为什么我们需要达到每秒 100 万次请求？

我们正在构建一个面向数百万用户的实时服务——这个系统要求延迟低于 50 毫秒，并且能够实现无缝的水平扩展。最初，我们的 Spring Boot 服务的请求处理量稳定在每秒 20000 次左右。CPU 使用率飙升，延迟变得不可预测，垃圾回收暂停成为了一个瓶颈。

更换技术栈并不是解决办法。相反，我们对 Spring Boot 进行了调优。

1. 精简配置：最小化 Spring Boot

Spring Boot 开箱即用，功能强大，但它通常包含了许多你不需要的东西。

• • 使用 @SpringBootApplication(exclude = {...}) 禁用未使用的自动配置。
• • 如果使用响应式模型，将 spring-boot-starter-web 替换为 spring-boot-starter-webflux。
• • 审查并移除不必要的 Bean，以减少启动时间和内存使用。

2. 考虑响应式技术栈

如果你的应用程序是 I/O 密集型的，迁移到 Spring WebFlux 可以带来显著的性能提升。

• • Spring MVC 是线程阻塞式的。
• • WebFlux 是事件驱动的，并且是非阻塞式的。

使用 Project Reactor，可以用更少的线程处理数千个并发请求。

然而，如果你的应用程序是 CPU 密集型的，这种优势可能会有限。在切换之前，先对你的应用程序进行性能分析。

3. 调优 JVM

JVM 调优可以极大地提高性能。

对于 OpenJDK 17 及以上版本，推荐的参数如下：

-XX:+UseZGC 
-XX:+TieredCompilation 
-XX:+UseStringDeduplication
-XX:+UnlockExperimentalVMOptions

• • 使用 ZGC 或 Shenandoah 进行低暂停的垃圾回收。
• • 启用即时编译优化。
• • 分析对象分配情况，以尽量减少对象的频繁创建和销毁。

像 Java Flight Recorder 和 async-profiler 这样的工具在这里非常有用。

4. 使用高效的 I/O

我们从 Tomcat 切换到 Netty，原因只有一个：性能。

• • Netty 是为非阻塞 I/O 设计的。
• • 对于需要处理数千个并发连接的场景来说，它非常理想。

当与 WebFlux 搭配使用时，它构成了一个高性能的响应式技术栈。

5. 避免阻塞调用

阻塞调用会严重影响并发处理能力和可扩展性。

避免使用：

• • Thread.sleep()
• • 阻塞式的 JDBC 调用
• • RestTemplate（改用 WebClient）
• • 同步的文件或网络 I/O

对于数据库，使用响应式驱动程序，并使用 Schedulers.boundedElastic() 创建的有界线程池来隔离任何必要的阻塞代码。

6. 合理使用缓存策略

缓存对于减轻计算和 I/O 压力至关重要。

• • 使用 Caffeine 或 Redis 进行内存缓存和分布式缓存。
• • 缓存读取频繁的数据，如用户会话、配置和元数据。
• • 设置合理的生存时间（TTL），以避免数据过时。

合理的缓存策略可以将 60% 甚至更多的流量从成本高昂的后端服务中卸载下来。

7. 线程池配置

即使在响应式环境中，线程池也很重要。

• • 调优 Netty 的 EventLoopGroup。
• • 为阻塞操作正确配置 Schedulers。
• • 结合配置良好的 ThreadPoolTaskExecutor 使用 @Async。

确保所有线程池都是有界的，以防止资源耗尽。

8. 指标监控、链路追踪和负载测试

可观测性至关重要。

• • 使用 Micrometer 结合 Prometheus 或 Grafana 进行监控。
• • 使用 Zipkin 或 Jaeger 实现分布式链路追踪。
• • 定期使用 JMeter、Gatling 或 k6 等工具进行负载测试。

对所有方面进行度量，不仅仅是为了排查问题，更是为了有信心地进行扩展。

总结

在进行了所有这些更改之后，我们的 Spring Boot 应用程序现在能够持续每秒处理 100 万次请求，配置如下：

• • 12 核虚拟机
• • 每个实例 8GB 堆内存
• • 使用 Netty 的 WebFlux
• • 优化后的缓存
• • JVM 调优
• • 完整的可观测性工具栈

结论

Spring Boot 完全有能力处理大规模的请求负载——但它需要经过深思熟虑的配置和以性能为先的思维方式。

不要过早地切换技术栈。进行性能分析、优化，并清晰地进行扩展。

实现每秒 100 万次请求并不是魔法，这是工程的力量。