在项目中运用 Redis 的数据结构 Bitmap

2024-05-17后端3 分钟177 次阅读
AI 摘要鱼粮不足,AI 今天先歇着 · 正文在下面

1、简介

bitmap(又称位图)是一种实现对位的操作的“数据结构”,它属于 Redis 的 String 数据类型,Redis 中一个字符串类型的值最多能存储 512MB 的内容,同时每个字符串由多个字节组成,每个字节又由 8 个Bit 位组成,所以bitmap存储上限为 2 的 32 次幂。
image.png
bitmap 本质是普通的字符串,即就是 bytes 数组,可以通过 get/set 命令来操作数组。bitmap 相对普通的字符串来说它,不仅效率高而且节省空间。

常见的 bitmap 的命令整理如下:

命令 含义
SETBIT 向指定位置 (offset) 存入一个0或1
GETBIT 获取指定位置 (offset) 的bit值
BITCOUNT 统计BitMap中值为1的bit位的数量
BITFIELD 操作(查询、修改、自增) BitMap中bit数组中的指定位置 (offset) 的值
BITFIELD_RO 获取BitMap中bit数组,并以十进制形式返回
BITOP 将多个BitMap的结果做位运算 (与 、或、异或)
BITPOS 查找bit数组中指定范围内第一个0或1出现的位置

由于 bit 位只能 0 和 1 两种数据,所以 bitmap 适用于一些特定的场景,如数据统计、数据标记等。

2、场景应用

数据标记场景

bitmap 在实际的项目中的数据标记方面应用有如京东每日签到送京豆电影、开屏广告是否被点击播放过、连续签到打卡等等。下面以签到场景

签到的实现流程图:
image.png
核心的实现代码:

java 复制代码
/**
 * 用户签到
 *
 * @return 是否成功
 */
@Override
public Boolean signIn() {
    // 获取登录用户
    Long userId = UserHolder.getUser().getId();
    // 获取日期
    LocalDateTime now = LocalDateTime.now();
    // 拼接 redis key
    String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
    String key = "USER_SIGN_IN_" + userId + keySuffix;
    // 获取当前是本月的第几天
    int dayOfMonth = now.getDayOfMonth();
    // 写入redis
    redisTemplate.opsForValue().setBit(key, dayOfMonth - 1, true);
    return true;
}

比如我在 2024.05.17 这天签到,以及在 2024.05.16、 2024.05.15、2024.05.13 签到,redis的记录是这样的
image.png
以上是实现用户签到的实现,如果按年去存储一个用户的签到情况,365 天大约只需要 46 Byte(365 / 8),那么按照 1000W 用户量来计算一年的签到情况只需要 44MB 的空间。

数据统计

bitmap 在数据统计方面也是非常优秀的,典型的场景有日活跃用户量的统计、最近—周的活跃用户、统计指定用户一个月或者一年之中的登陆天数等等。下面统计用户签到的数量为例。

用户签到数量统计的流程图:
image.png
实现的核心代码:

java 复制代码
/**
 * 统计用户连续签到的天数
 *
 * @return 天数
 */
@Override
public Integer getSignCount() {
    // 获取登录用户
    Long userId = UserHolder.getUser().getId();
    // 获取日期
    LocalDateTime now = LocalDateTime.now();
    // 拼接 redis key
    String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
    String key = "USER_SIGN_IN_" + userId + keySuffix;
    // 获取当前是本月的第几天
    int dayOfMonth = now.getDayOfMonth();
    List<Long> result = redisTemplate.opsForValue().bitField(
            key,
            BitFieldSubCommands.create().get(BitFieldSubCommands.BitFieldType.unsigned(dayOfMonth)).valueAt(0)
    );
    //没有签到记录
    if (CollectionUtils.isEmpty(result)) {
        return 0;
    }
    // 获取结果
    Long num = result.get(0);
    if (num == null || num == 0) {
        return 0;
    }
    // 循环遍历
    int count = 0;
    while (true) {
        // 让这个数字与1做与运算,得到四种的最后一个bit位,判断这个数字是否为0
        if ((num & 1) == 0) {
            // 如果为0,则签到结束
            break;
        } else {
            count++;
        }
        num >>>= 1;
    }
    return count;
}

比如这是我现在的签到日期:2024.05.13、2024.05.15、2024.05.16、2024.05.17,在 redis 中存储的位图数据如下:

sh 复制代码
000000000000101110000000

我们查询这个月到今天(5.17)连续的签到天数,位图数据转换为十进制为
16 + 4 + 2 + 1 = 23。

从今天开始向之前累计连续天数,判断那一天是否有签到(是否为 1,1:签到,0:未签到)

markdown 复制代码
1. 初始值:
   - `num = 23` (二进制 `10111`)
   - `count = 0`
   
2. 循环过程:
   - 第一步:
     - 检查最低位:`num & 1` (即 `23 & 1`) 结果是 `1`,表示 `2024.05.17` 签到。
     - 更新 `count`:`count = 1`
     - 右移 `num`:`num >>>= 1` 结果是 `11` (二进制 `1011`)
   - 第二步:
     - 检查最低位:`num & 1` (即 `11 & 1`) 结果是 `1`,表示 `2024.05.16` 签到。
     - 更新 `count`:`count = 2`
     - 右移 `num`:`num >>>= 1` 结果是 `5` (二进制 `101`)
   - 第三步:
     - 检查最低位:`num & 1` (即 `5 & 1`) 结果是 `1`,表示 `2024.05.15` 签到。
     - 更新 `count`:`count = 3`
     - 右移 `num`:`num >>>= 1` 结果是 `2` (二进制 `10`)
   - 第四步:
     - 检查最低位:`num & 1` (即 `2 & 1`) 结果是 `0`,表示 `2024.05.14` 未签到。
     - 遇到未签到,结束循环。

3. 结果:
   - 最终连续签到天数为 `3`。

布隆过滤器

如果用户的请求过来了,先查询 Redis 缓存,如果 Redis 无数据再去查询 MySQL,当 MySQL 中也不存在这条数据时,那么每次查询都要访问数据库,这就是缓存穿透。为了解决缓存穿透问题,我们在Redis前面添加一层布隆过滤器,请求先在布隆过滤器中判断,如果布隆过滤器不存在时,直接返回而不做后续的数据库查询操作。我们使用 bitmap 完成布隆过滤器的功能,其实现的流程图如下:
image.png
实现布隆过滤器的核心代码:

java 复制代码
/**
 * 查询布隆过滤器中是否存在
 */
public boolean checkWithBloomFilter(String checkParam, String key) {
    //使用简单的Java函数实现哈希函数
    int hashValue = Math.abs(key.hashCode());
    long index = (long) (hashValue % Math.pow(2, 32));
    return redisTemplate.opsForValue().getBit(checkParam, index);
}

3、总结

通过巧妙的运用 bitmap 的 bytes 数组特性,可以使我们的代码性能更加可靠高效。

觉得有用就点个赞,不用登录也能读

评论

0 条
登录 之后才能评论
—
还没有评论,来说第一句