在项目中运用 Redis 的数据结构 Bitmap
1、简介
bitmap(又称位图)是一种实现对位的操作的“数据结构”,它属于 Redis 的 String 数据类型,Redis 中一个字符串类型的值最多能存储 512MB 的内容,同时每个字符串由多个字节组成,每个字节又由 8 个Bit 位组成,所以bitmap存储上限为 2 的 32 次幂。

bitmap 本质是普通的字符串,即就是 bytes 数组,可以通过 get/set 命令来操作数组。bitmap 相对普通的字符串来说它,不仅效率高而且节省空间。
常见的 bitmap 的命令整理如下:
| 命令 | 含义 |
|---|---|
| SETBIT | 向指定位置 (offset) 存入一个0或1 |
| GETBIT | 获取指定位置 (offset) 的bit值 |
| BITCOUNT | 统计BitMap中值为1的bit位的数量 |
| BITFIELD | 操作(查询、修改、自增) BitMap中bit数组中的指定位置 (offset) 的值 |
| BITFIELD_RO | 获取BitMap中bit数组,并以十进制形式返回 |
| BITOP | 将多个BitMap的结果做位运算 (与 、或、异或) |
| BITPOS | 查找bit数组中指定范围内第一个0或1出现的位置 |
由于 bit 位只能 0 和 1 两种数据,所以 bitmap 适用于一些特定的场景,如数据统计、数据标记等。
2、场景应用
数据标记场景
bitmap 在实际的项目中的数据标记方面应用有如京东每日签到送京豆电影、开屏广告是否被点击播放过、连续签到打卡等等。下面以签到场景
签到的实现流程图:

核心的实现代码:
java
/**
* 用户签到
*
* @return 是否成功
*/
@Override
public Boolean signIn() {
// 获取登录用户
Long userId = UserHolder.getUser().getId();
// 获取日期
LocalDateTime now = LocalDateTime.now();
// 拼接 redis key
String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
String key = "USER_SIGN_IN_" + userId + keySuffix;
// 获取当前是本月的第几天
int dayOfMonth = now.getDayOfMonth();
// 写入redis
redisTemplate.opsForValue().setBit(key, dayOfMonth - 1, true);
return true;
}
比如我在 2024.05.17 这天签到,以及在 2024.05.16、 2024.05.15、2024.05.13 签到,redis的记录是这样的

以上是实现用户签到的实现,如果按年去存储一个用户的签到情况,365 天大约只需要 46 Byte(365 / 8),那么按照 1000W 用户量来计算一年的签到情况只需要 44MB 的空间。
数据统计
bitmap 在数据统计方面也是非常优秀的,典型的场景有日活跃用户量的统计、最近—周的活跃用户、统计指定用户一个月或者一年之中的登陆天数等等。下面统计用户签到的数量为例。
用户签到数量统计的流程图:

实现的核心代码:
java
/**
* 统计用户连续签到的天数
*
* @return 天数
*/
@Override
public Integer getSignCount() {
// 获取登录用户
Long userId = UserHolder.getUser().getId();
// 获取日期
LocalDateTime now = LocalDateTime.now();
// 拼接 redis key
String keySuffix = now.format(DateTimeFormatter.ofPattern(":yyyyMM"));
String key = "USER_SIGN_IN_" + userId + keySuffix;
// 获取当前是本月的第几天
int dayOfMonth = now.getDayOfMonth();
List<Long> result = redisTemplate.opsForValue().bitField(
key,
BitFieldSubCommands.create().get(BitFieldSubCommands.BitFieldType.unsigned(dayOfMonth)).valueAt(0)
);
//没有签到记录
if (CollectionUtils.isEmpty(result)) {
return 0;
}
// 获取结果
Long num = result.get(0);
if (num == null || num == 0) {
return 0;
}
// 循环遍历
int count = 0;
while (true) {
// 让这个数字与1做与运算,得到四种的最后一个bit位,判断这个数字是否为0
if ((num & 1) == 0) {
// 如果为0,则签到结束
break;
} else {
count++;
}
num >>>= 1;
}
return count;
}
比如这是我现在的签到日期:2024.05.13、2024.05.15、2024.05.16、2024.05.17,在 redis 中存储的位图数据如下:
sh
000000000000101110000000
我们查询这个月到今天(5.17)连续的签到天数,位图数据转换为十进制为
16 + 4 + 2 + 1 = 23。
从今天开始向之前累计连续天数,判断那一天是否有签到(是否为 1,1:签到,0:未签到)
markdown
1. 初始值:
- `num = 23` (二进制 `10111`)
- `count = 0`
2. 循环过程:
- 第一步:
- 检查最低位:`num & 1` (即 `23 & 1`) 结果是 `1`,表示 `2024.05.17` 签到。
- 更新 `count`:`count = 1`
- 右移 `num`:`num >>>= 1` 结果是 `11` (二进制 `1011`)
- 第二步:
- 检查最低位:`num & 1` (即 `11 & 1`) 结果是 `1`,表示 `2024.05.16` 签到。
- 更新 `count`:`count = 2`
- 右移 `num`:`num >>>= 1` 结果是 `5` (二进制 `101`)
- 第三步:
- 检查最低位:`num & 1` (即 `5 & 1`) 结果是 `1`,表示 `2024.05.15` 签到。
- 更新 `count`:`count = 3`
- 右移 `num`:`num >>>= 1` 结果是 `2` (二进制 `10`)
- 第四步:
- 检查最低位:`num & 1` (即 `2 & 1`) 结果是 `0`,表示 `2024.05.14` 未签到。
- 遇到未签到,结束循环。
3. 结果:
- 最终连续签到天数为 `3`。
布隆过滤器
如果用户的请求过来了,先查询 Redis 缓存,如果 Redis 无数据再去查询 MySQL,当 MySQL 中也不存在这条数据时,那么每次查询都要访问数据库,这就是缓存穿透。为了解决缓存穿透问题,我们在Redis前面添加一层布隆过滤器,请求先在布隆过滤器中判断,如果布隆过滤器不存在时,直接返回而不做后续的数据库查询操作。我们使用 bitmap 完成布隆过滤器的功能,其实现的流程图如下:

实现布隆过滤器的核心代码:
java
/**
* 查询布隆过滤器中是否存在
*/
public boolean checkWithBloomFilter(String checkParam, String key) {
//使用简单的Java函数实现哈希函数
int hashValue = Math.abs(key.hashCode());
long index = (long) (hashValue % Math.pow(2, 32));
return redisTemplate.opsForValue().getBit(checkParam, index);
}
3、总结
通过巧妙的运用 bitmap 的 bytes 数组特性,可以使我们的代码性能更加可靠高效。