面试真题

数据库 · 中等 · Shopee

爬虫反复爬取冷门数据造成热数据在缓存中剔除,从而导致雪崩,如何解决?

中等 数据库 🎤 Shopee
参考答案
结论:因爬虫冷门请求挤占缓存淘汰热数据导致雪崩,需从隔离、淘汰策略、过期控制三方面解决。要点:1.流量隔离:识别爬虫流量(UA/行为)限流或路由至独立缓存区,避免污染业务缓存;2.淘汰策略优化:采用LFU或LRU-K区分冷热,冷数据优先淘汰;3.过期散列:缓存TTL加随机值防止同时失效;4.热点保护:热数据永不过期或后台定时刷新,访问失效时用互斥锁单线程重建;5.预加载与监控:统计频率动态预热。综上降低冷门爬取对热数据冲击,避免雪崩。
题目整理自公开面经,答案由校招宝自研生成,仅供参考