博客
关于我
6个常见的高并发缓存问题,你知道几个?
阅读量:369 次
发布时间:2019-03-05

本文共 1111 字,大约阅读时间需要 3 分钟。

前言

一般来说,互联网应用网站或APP的流程可以用图示中的方式表示,用户请求从最内层的浏览器或APP开始,经过网络转发、应用服务,最终到达存储系统,这可能是数据库或文件系统,然后再返回界面呈现内容。

随着互联网的普及,内容越来越复杂,用户数和访问量也在增加。我们的应用需要支持更多的并发量,同时应用服务器和数据库服务器的资源是有限的。文件的读写也有限。

如何在有限的资源下提供更大的吞吐量?引入缓存是一个有效的方法,可以打破标准流程,让每个环节的请求从缓存中直接获取数据,减少计算量,从而提升响应速度。缓存可以在1到4环节中的任何环节使用。

缓存一致性问题

当数据时效性要求很高时,需要保证缓存中的数据与数据库一致,包括缓存节点和副本。缓存过期或更新策略至关重要,一般在数据修改时主动更新缓存或移除对应缓存。

缓存并发问题

在高并发场景下,多个请求可能同时从数据库获取数据,导致“雪崩”现象。此外,某个缓存key的更新可能同时被大量请求访问,引发一致性问题。

为了避免这些问题,可以采用锁机制,在缓存更新或过期时,先获取锁,等待更新或数据库查询完成后再释放锁。这样其他请求只需等待一段时间即可继续获取数据。

缓存穿透问题

缓存穿透指的是高并发下,某个key未命中缓存,为了容错性,尝试从数据库获取数据。然而,如果对应的数据为空,这会导致大量请求到达数据库,造成巨大压力。

解决方法包括:

  • 缓存空对象。对查询结果为空的对象或集合存储一个空值,避免请求穿透到数据库。
  • 单独过滤处理。对可能对应空值的key统一存放,并在请求前拦截,避免穿透。
  • 缓存颠簸问题

    缓存颠簸是指缓存节点故障导致的轻微故障,可能引发一段时间的性能影响。业内推荐使用一致性Hash算法来解决。

    缓存雪崩现象

    缓存雪崩是指大量请求因缓存问题导致对数据库的极大压力,甚至导致系统崩溃。可能的原因包括缓存并发、穿透、颠簸等问题。

    从应用架构角度,可以通过限流、降级、熔断等手段降低影响。此外,设置不同的过期时间可以错开缓存失效,避免集中失效。加强压力测试,模拟真实场景以尽早发现问题。

    缓存无底洞现象

    Facebook在2010年发现,随着Memcached节点数量增加,连接频率和效率下降,称为“无底洞现象”。解决方法是通过分片技术来优化数据库访问。分片技术可以将请求分布到多个实例上,减少网络IO开销。

    优化方法包括:

  • 数据分布方式:根据业务需求选择Hash分布或范围分布。
  • IO优化:使用连接池和NIO等技术。
  • 数据访问方式:尽量一次性获取大数据集,减少小数据多次查询的开销。
  • 缓存无底洞现象并不常见,大多数公司可能不会遇到。

    欢迎交流,喜欢文章记得点赞!

    转载地址:http://wlvg.baihongyu.com/

    你可能感兴趣的文章
    NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
    查看>>
    NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027
    查看>>
    NIFI数据库同步_多表_特定表同时同步_实际操作_MySqlToMysql_可推广到其他数据库_Postgresql_Hbase_SqlServer等----大数据之Nifi工作笔记0053
    查看>>
    NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
    查看>>
    NIFI集群_内存溢出_CPU占用100%修复_GC overhead limit exceeded_NIFI: out of memory error ---大数据之Nifi工作笔记0017
    查看>>
    NIFI集群_队列Queue中数据无法清空_清除队列数据报错_无法删除queue_解决_集群中机器交替重启删除---大数据之Nifi工作笔记0061
    查看>>
    NIH发布包含10600张CT图像数据库 为AI算法测试铺路
    查看>>
    Nim教程【十二】
    查看>>
    Nim游戏
    查看>>
    NIO ByteBuffer实现原理
    查看>>
    Nio ByteBuffer组件读写指针切换原理与常用方法
    查看>>
    NIO Selector实现原理
    查看>>
    nio 中channel和buffer的基本使用
    查看>>
    NIO三大组件基础知识
    查看>>
    NIO与零拷贝和AIO
    查看>>
    NIO同步网络编程
    查看>>
    NIO基于UDP协议的网络编程
    查看>>
    NIO笔记---上
    查看>>
    NIO蔚来 面试——IP地址你了解多少?
    查看>>
    NISP一级,NISP二级报考说明,零基础入门到精通,收藏这篇就够了
    查看>>