大家好,欢迎来到IT知识分享网。
导语 | 网上搜到的方法,是使用数据库的随机排序ORDER BY RAND()进行的,较大数据的时候,显然就不好使了,而且在数据库层面进行随机分页就比较困难,无法保证基础的有序性,因此需要考虑其他方法来进行实现:数据库+redis+List洗牌的方式就孕育而生。
问题产生
公司业务遇到此场景:在前端分页展示数据时,为了让每个数据都有相同的几率被展示,每次分页展示数据时,都是随机展示的,并要求每一页之间数据不能重复;而且,优先展示最近三天的上传的数据,用户看完数据后,继续加载三天前又三天的数据。
此时大概率会有一会有以下痛点:
- 有用户一直传数据,就会出现这个用户数据占满一页;
- 越晚上传的数据曝光量会越好,越早上传的数据曝光量越差;
- 类似这种3天又3天数据如何加载?;
因此提出这个需求;数据需要随机分页出现。
问题分析与解决
分析一
遇到这种问题,单纯的使用数据库就不好使了,况且数据库本身就比较脆弱;因此,我想到引入第三方工具:redis,而其我们软件本身就使用redis;使用redis性能也会得到极大提升,主要用到redis list 的方法;
分析二
针对问题一,同一用户数据占满一页,以及问题二的解决办法;大脑跳出来的方法就是数据随机选择,这时我想到通过list洗牌的方法。
分析三
问题三,用户看完数据后继续加载后面的数据,类似【懒加载】;解决办法:当用户刷数据到最后一页的时候,就触发【懒加载】,数据追加到redis list里面。
实现步骤与部分代码
1. 查询三天的数据,把主键id list 洗牌放入redis list;
java复制代码// 使用 package java.util.Collections;
/**
* Randomly permutes the specified list using a default source of
* randomness. All permutations occur with approximately equal
* likelihood.
*/
public static void shuffle(List<?> list) {
Random rnd = r;
if (rnd == null)
r = rnd = new Random(); // harmless race.
shuffle(list, rnd);
}
java复制代码 /**
* 追加Lisit
*
* @param key 关键字
* @param list 列表
* @param expireTime 有效期
* @return boolean
*/
public Boolean addAll(String key, List list, Long expireTime) {
try {
redisTemplate.opsForList().rightPushAll(key, list);
redisTemplate.expire(key, expireTime, TimeUnit.SECONDS);
return true;
} catch (JedisException e) {
handleJedisException(e);
throw e;
} finally {
RedisConnectionUtils.unbindConnection(Objects.requireNonNull(redisTemplate.getConnectionFactory()));
}
}
这里需要注意,设置key的有效期;否则,你懂的!!!
2. 触发数据【懒加载】
java复制代码 /** * 构建分页数据 * @param so 入参 * @param key redis key * @param dayKey 天数区间的key * @return page */ private IPage<PictureAlbumForUserDTO> buildPage(PublishedPictureAlbumSO so, String key, String dayKey) { Long total = redisUtil.listSize(key); long toIndex = so.getSize() * so.getPage(); if (toIndex > total) { // 用户加载到最后一页,触发【懒加载】 // 发现池,加载更多数据 String dayValue = redisUtil.get(dayKey); String[] dayValueArray = dayValue.split("#"); long start = Long.parseLong(dayValueArray[0]) - rangeDay; long end = Long.parseLong(dayValueArray[1]) - rangeDay; if (appendList(key, dayKey, start, end)) { // 递归调用;递归后,数据追加到redis return buildPage(so, key, dayKey); } else { toIndex = total; } } // 根据下标获取redis里面分页数据 List list = redisUtil.listRange(key, so.getSize() * (so.getPage() - 1), toIndex); if (CollectionUtil.isEmpty(list)) { return null; } so.setAlbumIdList(list); // 因为进行list id 分页,这里默认去数据库里查询第一页就行了 so.setPage(1); Page<PictureAlbumForUserDTO> pageData = new Page<>(so.getPage(), so.getSize()); IPage<PictureAlbumForUserDTO> iPage = baseMapper.findAllActive(pageData, so); List<PictureAlbumForUserDTO> dtoList = iPage.getRecords(); Collections.shuffle(dtoList); iPage.setRecords(dtoList); iPage.setTotal(total); iPage.setSize(so.getSize()); iPage.setCurrent(so.getPage()); iPage.setPages((total + so.getSize() - 1) / so.getSize()); return iPage; }
java复制代码 /** * 读取redis lisit 区间数据 * * @param key 关键字 * @param start 开始下标 * @param end 结束下标 * @return boolean */ public List listRange(String key, long start, long end) { try { return redisTemplate.opsForList().range(key, start, end); } catch (JedisException e) { handleJedisException(e); throw e; } finally { RedisConnectionUtils.unbindConnection(Objects.requireNonNull(redisTemplate.getConnectionFactory())); } }
3. 每页数据随机展示
如何想让用户每一页看到的数据不一样;分页的数据可以再进行洗牌,而且不会打乱数据池整体的数据排列,有种【千人千面】的错觉;缺点就是用户可能会觉得,你的分页数据存在问题。
总结
介绍了一种实现随机分页的方案,关键在与数据库结合redis的使用和list的洗牌,这种方法从效率和使用性性都比较高的;对付万级核心数据的随机分页,应该是没有问题的。
原文链接:https://juejin.cn/post/7244720558771912762
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/60147.html