鲸品堂｜业务系统核心模块资料访问性能优化实战

随着业务系统的云化转型不断推进，业务量呈现显著增长，对业务系统的性能和资源管理提出了更高要求。在这样的背景下，实现系统资源使用与性能指标的均衡成为保障生产系统高效稳定运行的核心任务。

在性能优化的范畴内，核心业务系统对于用户信息查询的处理能力需具备高度性能及精确性，这部分优化向来都是最具挑战性的任务。普通的缓存机制往往无法满足这些严格的需求。因此，我们采取了分布式内存数据库，即高级缓存策略，于应用客户端构建起高效且精确的本地缓存机制，以应对这一难题。然而，随着用户数量及数据量的持续增长，高速缓存对内存资源的消耗也在持续扩大。如何在内存占用与业务性能之间达成有效的平衡，成为系统后续演进及效能提升的关键所在。

为解决相关问题，浩鲸科技提出了一种创新的性能优化策略。该策略主要涉及对系统内各模块中相同维度数据查询频率的深入分析，以开发出高频数据缓存技术，目标是减少批量话单处理中的重复数据查询效率问题，实现无干扰的高精度数据缓存复用。

在某省的云迁移项目实际对账操作中，这项技术与高速缓存技术相融合，成功实现了性能的整体提升，范围在2.4至7倍之间，同时显著减少了应用服务器的内存占用，降低了约20%。最终，实现了超过23万的话单处理端到端性能提升，以及部分模块40万+的处理性能巨幅增长。

某省采用新方案后的业务系统性能优化效果

系统实现了应用与数据的解耦，极大地提升了系统的并发处理能力。然而，在某些关键业务场景中，数据访问的时延成为性能瓶颈，尤其是在批价、合账、提醒及账期应用等环节。这些业务对数据访问的速度要求极高，主要体现在以下几个方面：

为了应对这些挑战，采用高速缓存技术进行大规模用户资料的映射存储成为一种有效的策略。这不仅确保了数据的准确性，还提高了数据访问的本地响应速度。然而，随着用户资料量的持续增长，单个宿主机的内存占用也从200+GB上升到了400+GB。这种趋势表明，单靠高速缓存技术已难以满足现有需求。

因此，在高频查询、批量查询的业务场景下，如何在减少内存占用的同时，确保核心业务系统中用户资料的低时延查询，已成为优化业务系统性能的关键任务。这不仅是技术上的挑战，更是业务发展的必然要求。

为了解决上述问题，我们对业务数据的访问特性进行了深入分析。在排除了涉及账期应用的全面遍历查询情况后，问题的核心集中在批量查询和高频率查询的场景上。

在处理话单业务的场景中，高频查询指的是那些频繁需要进行数据检索的操作。在云计算的架构下，每次对数据的访问都会引起一定的网络性能损失。随着这种访问频率的增加，系统的整体性能将以指数方式递减。

某省话单压测数据访问与访问频率汇总

在实际操作中，以实例数据为核心的高频访问操作往往涉及对单个话单的访问超过6次，且频繁出现对相同数据的重复查询。通过深入的场景配置分析，我们追溯到这一现象的根源在于话单处理的内部属性与外部属性之间的显著差异。在处理话单的过程中，尤其是对于定价领域的参照值，常常需要结合外部属性进行操作。这些外部属性各自独立，互不干涉，也因此无法自动判断数据是否可以进行关联复用。

批量查询的设计意图在于一次性通过远程交互获取多项数据，以此显著降低单条数据检索的等待时间。理论上，这种平均化的时间延迟不应对系统性能产生根本性的影响，即使不使用高速缓存。然而，实际的测试表现并未达到预期标准。

并发批量查询时万兆网上行带宽占满

监控数据显示，一旦部分表从高速缓存中移出，组网的万兆带宽会立即被占满。这表明，单从业务场景和监控数据进行分析已不足够，需要结合更细致的业务访问操作进行综合分析，并对每张表的访问频率和带宽资源占用进行量化。

为了细致分析业务实际访问的操作，团队迅速完善了业务数据访问接口的调用链埋点，实现了表级别的接口数据采集。同时，对访问维度进行了数据接口级别的埋点，特别关注了关键维度如销售品、用户和实例等。通过对163355条话单的测试分析，我们获得了以下关键数据：

某省话单压测数据访问与带宽关系汇总

通过数据分析，发现产品实例关系表的批量查询操作中，单次查询平均返回1083条记录，每条数据的网络开销极小。然而，在12万TPS的负载下，这种操作将达到万兆带宽的上限，这与监控验证的结论相符。

综上所述，对业务系统资料访问中的性能损耗就能做到有的放矢：

通过这种分治策略，我们可以针对性地解决复杂问题，选择适当的场景应用高速缓存，并对高频重复数据查询的场景进行优化，从而实现业务系统全流程的性能提升。

当前面对的主要问题是优化处理高频重复访问的表操作，实现减少内存开销的前提下，完成业务性能的优化提升。

首先，在该特征下，存储在高速缓存中的大部分数据都非热频数据，导致缓存资源利用率不高。因此，需要将对应场景的数据从高速缓存中移出，从而节约大量内存资源，确保应用系统的资源充足。

其次，将这些重复访问的表按维度进行划分，区分出存在重复数据查询的场景，考虑在重复数据访问的过程中降低性能损耗。

最后，还要考虑对复杂业务系统的稳定性、准确性的影响，如何提升技术方案的可控性也是重中之重。

综上所述，对技术方案提出了如下四点要求：

为了实现上述特征，团队结合现状给出了一种高频资料缓存技术，在不依赖任何第三方组件的基础上，对数据访问层（DAO）进行了有效地优化，具体方案如下：

方案结合当前业务现状和产品特性，在DAO层采取了一系列先进的缓存管理策略，确保数据处理的优化与资源的最大化利用：

通过这些策略的实施，业务系统不仅提高了处理效率，还确保了数据的安全性和准确性，为生产业务提供了更加可靠和高效的服务。

在特定的批量访问情境中，可能会出现带宽资源被过度消耗的情况，其根本原因在于一次性检索返回的数据量过大。鉴于该省的产品实例关联表数据不超过3亿条，预计内存消耗约为20GB。因此，我们建议采用高速缓存结合单表支持的策略，以此来显著降低带宽使用，缓解服务器负荷，同时确保数据访问的高效性和精确性。

随着业务范围的持续扩展，业务系统正遭遇日益增长的性能压力。为了解决这些挑战并提高系统效率，我们的团队采取了一系列创新技术策略，特别是对高频数据缓存的优化工作：

☑️ 我们成功地整合了高速缓存技术与业务系统的缓存策略，从而对业务系统的数据查询性能进行了深度优化。这一改进显著加快了数据处理速度，缩短了系统响应时间，同时显著降低了网络带宽的负荷，有效释放了冗余的内存资源。

☑️ 此外，这些措施还显著增强了系统的可扩展性和可靠性，使其能够应对未来业务的快速扩展和增长。这些优化确保了业务系统能够持续提供高效、便捷且稳定的服务，满足当前需求，也为未来可能的变化和技术升级奠定了坚实基础。

☑️ 至关重要的是，这次的系统优化为后续的业务系统模块性能提升提供了宝贵的经验和指导方向。通过不断的技术创新和优化，业务系统将更好地适应业务需求，同时也能提供更广泛的支持和价值创造。

总之，本次优化提升了业务系统的性能和稳定性，也为应对未来的挑战和利用新机遇做好了充分准备，确保业务系统能够在动态的市场环境中实现持续的高质量发展。