English · Contributing / 贡献 · Apache-2.0
-
1.1 系统架构图
-
1.2模块说明
-
a.在日志数据模块(flink-2-hbase)中,又主要分为6个Flink任务:
-
用户-产品浏览历史 -> 实现基于协同过滤的推荐逻辑
通过Flink去记录用户浏览过这个类目下的哪些产品,为后面的基于Item的协同过滤做准备 实时的记录用户的评分到Hbase中,为后续离线处理做准备.
数据存储在Hbase的p_history表
-
用户-兴趣 -> 实现基于上下文的推荐逻辑
根据用户对同一个产品的操作计算兴趣度,计算规则通过操作间隔时间(如购物 - 浏览 < 100s)则判定为一次兴趣事件 通过Flink的ValueState实现,如果用户的操作Action=3(收藏),则清除这个产品的state,如果超过100s没有出现Action=3的事件,也会清除这个state
数据存储在Hbase的u_interest表
-
用户画像计算 -> 实现基于标签的推荐逻辑
v1.0按照三个维度去计算用户画像,分别是用户的颜色兴趣,用户的产地兴趣,和用户的风格兴趣.根据日志不断的修改用户画像的数据,记录在Hbase中.
数据存储在Hbase的user表
-
产品画像记录 -> 实现基于标签的推荐逻辑
用两个维度记录产品画像,一个是喜爱该产品的年龄段,另一个是性别
数据存储在Hbase的prod表
-
事实热度榜 -> 实现基于热度的推荐逻辑
通过Flink时间窗口机制,统计当前时间的实时热度,并将数据缓存在Redis中.
通过Flink的窗口机制计算实时热度,使用ListState保存一次热度榜
数据存储在redis中,按照时间戳存储list
-
日志导入
从Kafka接收的数据直接导入进Hbase事实表,保存完整的日志log,日志中包含了用户Id,用户操作的产品id,操作时间,行为(如购买,点击,推荐等).
数据按时间窗口统计数据大屏需要的数据,返回前段展示
数据存储在Hbase的con表
-
-
b. web模块
-
前台用户界面
该页面返回给用户推荐的产品list
-
后台监控页面
该页面返回给管理员指标监控
-
-
2.1 基于热度的推荐逻辑
现阶段推荐逻辑图
根据用户特征,重新排序热度榜,之后根据两种推荐算法计算得到的产品相关度评分,为每个热度榜中的产品推荐几个关联的产品
-
2.2 基于产品画像的产品相似度计算方法
基于产品画像的推荐逻辑依赖于产品画像和热度榜两个维度,产品画像有三个特征,包含color/country/style三个角度,通过计算用户对该类目产品的评分来过滤热度榜上的产品
在已经有产品画像的基础上,计算item与item之间的关联系,通过余弦相似度来计算两两之间的评分,最后在已有物品选中的情况下推荐关联性更高的产品.
| 相似度 | A | B | C |
|---|---|---|---|
| A | 1 | 0.7 | 0.2 |
| B | 0.7 | 1 | 0.6 |
| C | 0.2 | 0.6 | 1 |
当前推荐结果分为3列,分别是热度榜推荐,协同过滤推荐和产品画像推荐
在后台上显示推荐系统的实时数据,数据来自其他Flink计算模块的结果.目前包含热度榜和1小时日志接入量两个指标. 真实数据位置在resource/database.sql
部署步骤都在本仓库里,不需要再打开外部文章。原先 README 中的「文章地址」(xinze.fun 上的 Docker 部署文)已经失效,并且会跳到无关站点,这里不再保留该链接,也不再链到简书 / CSDN 上的旧搭建笔记。那些笔记描述的是另一套手工拉镜像的做法,和当前的 docker-compose.yml 对不上。
英文对照见 README_EN.md。
| 依赖 | 版本 |
|---|---|
| JDK | 11 或 17。用更高版本可以编译(maven.compiler.release 是 11),但 Flink 1.18 作业不要用 JDK 21 运行。CI 使用 Temurin 17。 |
| Maven | 3.8 及以上 |
| Docker | Docker Engine,以及 Compose v2(命令是 docker compose,不是 docker-compose) |
| 内存 | 建议留给 Docker 和作业的内存不少于 6 GB |
| 端口 | 9092 Kafka,2181 / 16000 / 16010 / 16020 / 16030 HBase,6379 Redis,3308 MySQL,8081 Flink UI,8082 网页 |
不强制使用 Docker。Kafka、HBase、Redis、MySQL 用自己已有的实例也可以,把 flink-2-hbase/src/main/resources/config.properties 和 web/src/main/resources/application.yml 里的地址改成你的实例即可。下面的步骤按仓库里的 compose 文件来写。
在仓库根目录:
./scripts/bootstrap.sh脚本会执行 docker compose -f resources/docker/docker-compose/docker-compose.yml up -d --build,然后等到下面这些事情做完才退出:
- MySQL 8.0 第一次启动时导入
resources/docker/docker-compose/contact.sql,建库con,并写入contact、product、user三张表。宿主机端口是 3308(容器内仍是 3306),账号root/123456。 - HBase 2.6.7(单机,自带 ZooKeeper)第一次启动时执行
resources/docker/docker-compose/hbase_ini.sql,创建con、prod、user、u_history、p_history、ps、px、u_interest。宿主机端口是2181,Master 页面是 http://localhost:16010。客户端 quorum 写的是127.0.0.1,不要改成localhost:localhost经常还会解析到::1,连上 IPv6 会被复位,客户端就一直起不来。容器里的 ZooKeeper 监听0.0.0.0,发布出来的2181才能进来。 - Kafka 3.9.2(KRaft,没有 ZooKeeper) 由
kafka-init创建主题con(1 个分区)。宿主机用localhost:9092,compose 网络内部用kafka:19092。 - Redis 7.4 在
localhost:6379。 - Flink 1.18.1 的 JobManager / TaskManager 会起来,UI 在 http://localhost:8081。
这些服务没有挂数据卷。docker compose down 会删掉容器里的数据,下次 up 会重新初始化。只是 restart 不会清数据。
Kafka、Redis、MySQL 在配置里是宿主机上的 localhost。HBase 的 ZooKeeper 地址是 127.0.0.1(原因见上)。因此 不要 把作业 flink run 进上面的 TaskManager:容器里的 localhost 是容器自己,连不上 Kafka / HBase / Redis / MySQL。作业用下一节的脚本在宿主机网络里跑。Flink UI 仍然可以打开,用来确认集群进程活着。
mvn -B package会构建 flink-2-hbase 和 web,并跑不依赖外部服务的单元测试。需要连 MySQL / Redis / HBase 的旧测试默认排除,见 CONTRIBUTING.md。
先启动作业,再灌数据。作业从 Kafka 最新位点 开始消费,作业起来之前写入的消息不会被看到。
./scripts/run-flink-jobs.shLinux 上这个脚本用 Flink 1.18 镜像、--network host 起一个容器(Java 11),一次拉起六个作业。其它系统如果装了 JDK 11 或 17,脚本改为在本机 java -cp 启动。日志:
docker logs -f flink-demo-jobs六个入口类:
| 类 | 作用 | 写出位置 |
|---|---|---|
com.demo.task.LogTask |
原始日志落库 | HBase con |
com.demo.task.UserHistoryTask |
用户-商品、商品-用户历史 | HBase u_history、p_history |
com.demo.task.UserInterestTask |
兴趣 | HBase u_interest |
com.demo.task.UserPortraitTask |
用户画像(读 MySQL product) |
HBase user |
com.demo.task.ProductProtaritTask |
商品画像(读 MySQL user) |
HBase prod |
com.demo.task.TopProductTask |
60 秒滑动窗口热度榜,每 5 秒滑动 | Redis 键 0..4 |
日志行格式是 userId,productId,秒级时间戳,action。action:1 浏览,2 收藏,3 购买。
热度榜用的是事件时间。窗口长度 60 秒,所以测试数据的时间戳需要覆盖大约一分钟,不能只发“当前这一秒”的几条就指望榜单出来。generate-logs.sh 的默认模式已经把时间戳铺在最近 100 秒里。
相似度(HBase 表 px、ps)不是 Flink 作业,而是本机定时任务 com.demo.scheduler.SchedulerJob,它读 p_history 再写回这两张表。不跑它时,推荐页的后两列会先显示热度榜里的商品,只是没有额外的相关商品。需要的话在作业容器或本机执行:
java -cp flink-2-hbase/target/flink-2-hbase-1.0-SNAPSHOT.jar com.demo.scheduler.SchedulerJob停作业:
./scripts/stop-flink-jobs.sh确认作业日志里已经出现任务启动(容器大约需要半分钟),然后:
./scripts/generate-logs.sh默认一次写入 200 条。商品 id 集中在 11–15(这些 id 在 product 和 contact 里都有),其中 11 最多,热度榜第一名应是 11。持续随机写入:
./scripts/generate-logs.sh --follow也可以进 Kafka 容器执行挂载好的 resources/docker/docker-compose/generator.sh(MODE=follow 为死循环,MODE=once 为上面这一批)。
页面上的浏览 / 收藏 / 购买按钮会请求 GET /log?id=&prod=&action=,由 Web 再写入同一个主题 con。
热度作业只写 Redis 键 0 到 4。页面要读 0 到 9。不足 10 个键时,代码会用 product 表把列表垫到很长,再按下标去取 contact,商品 1、2 在 contact 里不存在,页面会 500。页面按位置去对 contact / product 的查询结果,而查询对每个 id 只返回一行,所以热度榜里如果出现重复 id,列表比 Redis 短,同样会 500。脚本只补空键,并替换已经在前面名次里出现过的 id(从 20 起,这些 id 在两张表里都有),不会改掉作业已经写入的名次:
./scripts/seed-hotlist.sh启动网站(脚本在没设置 JAVA_HOME 时优先用本机 JDK 17):
./scripts/run-web.sh不要在仓库根目录执行 mvn spring-boot:run。根 POM 不是 Spring Boot 工程,插件要么找不到,要么会跑到 flink-2-hbase 上,因为那里有十几个 main。run-web.sh 先 install Flink 模块,再只对 web 执行 spring-boot:run。
浏览器打开:
推荐页应出现三列:热度榜、协同过滤推荐、产品画像推荐,并且能看到商品名。图片地址是多年前的外链,打不开不影响列表本身。
自查(网页已启动时把地址传进去):
./scripts/verify-demo.sh http://localhost:8082Redis 里 GET 0 在热度作业算完后应为 11。HBase 表 con 里应能扫到日志行。
- 以前的文章链接打不开,或跳到奇怪的网站。 不要再使用那个链接。按本节从
./scripts/bootstrap.sh开始即可。 docker compose up马上返回,网页里却没有数据。up -d不会等 MySQL 导完、HBase 建完表。用./scripts/bootstrap.sh,或看docker ps里的 health 状态,以及docker logs mysql、docker logs hbase、docker logs kafka-init。- 端口被占用。 先确认本机没有另一套 Kafka / MySQL / Redis / HBase。MySQL 映射的是 3308,不是 3306。
- HBase 客户端超时、
2181连接被复位,或连到localhost:9000。config.properties里的 RPC / scanner 超时是 60 秒,quorum 是127.0.0.1,并且不再把hbase.rootdir指到一个不存在的 HDFS。echo ruok | nc -4 127.0.0.1 2181应返回imok。HBase 在 compose 里把 RegionServer 广告成localhost,所以客户端要跑在宿主机上(或 Linux 的--network host),不要跑在别的容器网段里。 - 作业提交进 Flink UI 那个集群后一直没有输出。 容器内的
localhost:9092不是宿主机的 Kafka。用./scripts/run-flink-jobs.sh。 - 用 JDK 21 跑作业直接退出。 换成 11 或 17。编译可以继续用 21。
- 灌了数据,Redis 仍然没有
0。 作业是否在灌数据之前已经启动;日志时间戳是否覆盖了 60 秒事件时间;docker logs flink-demo-jobs里有没有 HBase / Kafka 异常。 /recommand返回 500,堆栈里是下标越界或contact为空。 跑./scripts/seed-hotlist.sh。10 个键都要有值,值不能重复,并且每个商品 id 都要同时在product和contact里(样例数据从 3 开始,脚本补位用 20 起)。/recommand返回 500,堆栈里是 Thymeleaf 拒绝th:onclick里的字符串拼接。 Spring Boot 2.7 自带的 Thymeleaf 不允许在事件属性里拼接字符串。页面按钮已经改成data-*属性,点击仍调用原来的sendLog。不要把th:onclick="'javascript:sendLog('+${userId}+..."加回去。- 页面有商品名但没有图片。 图片 URL 是外部站点,很多已经失效。
- 改完
contact.sql或 HBase 脚本却没有生效。 初始化只在数据目录还是空的时候做。docker compose -f resources/docker/docker-compose/docker-compose.yml down后再./scripts/bootstrap.sh。 - 防火墙或只绑了内网 IP。 本 compose 把服务发布在
0.0.0.0的上述端口上。安全组或本机防火墙要放行你实际访问用的端口。 kafka-init一直不退出,日志是空的,Flink UI 里也没有 TaskManager。 容器之间互相连不上。宿主机上发布的端口仍然通,所以容易误判成 Kafka 或 Flink 自己坏了。在 Linux 上同时看iptables和iptables-legacy的FORWARD链:策略是DROP、并且只放行docker0时,compose 自己的网桥会被丢掉。放行那块网桥之后执行docker restart kafka-init,再看docker logs flink-taskmanager里是否注册成功。mvn spring-boot:run失败。 根目录没有这个插件;加上完整坐标再带-am时,插件会作用到flink-2-hbase,报找不到唯一的 main class。用./scripts/run-web.sh。
本仓库以 Apache License 2.0 授权,版权归仓库作者 water8394 (XInZE) 所有。




