基于Flink商品实时推荐系统项目

栏目: IT技术 · 发布时间: 4个月前

来源: mp.weixin.qq.com

内容简介:基于Flink实现的商品实时推荐系统。flink统计商品热度,放入redis缓存,分析日志信息,将画像标签和实时记录放入Hbase。在用户发起推荐请求后,根据用户画像重排序热度榜,并结合协同过滤和标签两个推荐模块为新生成的榜单的每一个产品添加关联产品,最后返回新的用户列表。

本文转载自:http://mp.weixin.qq.com/s?__biz=MzI0NTIxNzE1Ng==&mid=2651220021&idx=1&sn=a6006698a8ef14b22d1264af1cb75bf3,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有。

基于Flink商品实时推荐系统项目

介绍

基于Flink实现的商品实时推荐系统。flink统计商品热度,放入 redis 缓存,分析日志信息,将画像标签和实时记录放入Hbase。在用户发起推荐请求后,根据用户画像重排序热度榜,并结合协同过滤和标签两个推荐模块为新生成的榜单的每一个产品添加关联产品,最后返回新的用户列表。

1. 系统架构 v2.0

1.1 系统架构 v2.0

基于Flink商品实时推荐系统项目

1.2模块说明

a.在日志数据模块(flink-2-hbase)中,又主要分为6个Flink任务:

用户-产品浏览历史 -> 实现基于协同过滤的推荐逻辑

通过Flink去记录用户浏览过这个类目下的哪些产品,为后面的基于Item的协同过滤做准备 实时的记录用户的评分到Hbase中,为后续离线处理做准备.

数据存储在Hbase的p_history表

用户-兴趣 -> 实现基于上下文的推荐逻辑

根据用户对同一个产品的操作计算兴趣度,计算规则通过操作间隔时间(如购物 - 浏览 < 100s)则判定为一次兴趣事件 通过Flink的ValueState实现,如果用户的操作Action=3(收藏),则清除这个产品的state,如果超过100s没有出现Action=3的事件,也会清除这个state

数据存储在Hbase的u_interest表

用户画像计算 -> 实现基于标签的推荐逻辑

v1.0按照三个维度去计算用户画像,分别是用户的颜色兴趣,用户的产地兴趣,和用户的风格兴趣.根据日志不断的修改用户画像的数据,记录在Hbase中.

数据存储在Hbase的user表

产品画像记录 -> 实现基于标签的推荐逻辑

用两个维度记录产品画像,一个是喜爱该产品的年龄段,另一个是性别

数据存储在Hbase的prod表

事实热度榜 -> 实现基于热度的推荐逻辑

通过Flink时间窗口机制,统计当前时间的实时热度,并将数据缓存在Redis中.

通过Flink的窗口机制计算实时热度,使用ListState保存一次热度榜

数据存储在redis中,按照时间戳存储list

日志导入

从Kafka接收的数据直接导入进Hbase事实表,保存完整的日志log,日志中包含了用户Id,用户操作的产品id,操作时间,行为(如购买,点击,推荐等).

数据按时间窗口统计数据大屏需要的数据,返回前段展示

数据存储在Hbase的con表

b. web模块

前台用户界面

该页面返回给用户推荐的产品list

后台监控页面

该页面返回给管理员指标监控

2.推荐引擎逻辑说明

2.1 基于热度的推荐逻辑

现阶段推荐逻辑图

基于Flink商品实时推荐系统项目

​根据用户特征,重新排序热度榜,之后根据两种推荐算法计算得到的产品相关度评分,为每个热度榜中的产品推荐几个关联的产品

2.2 基于产品画像的产品相似度计算方法

基于产品画像的推荐逻辑依赖于产品画像和热度榜两个维度,产品画像有三个特征,包含color/country/style三个角度,通过计算用户对该类目产品的评分来过滤热度榜上的产品

基于Flink商品实时推荐系统项目

在已经有产品画像的基础上,计算item与item之间的关联系,通过余弦相似度来计算两两之间的评分,最后在已有物品选中的情况下推荐关联性更高的产品.

相似度 A B C
A 1 0.7 0.2
B 0.7 1 0.6
C 0.2 0.6 1

2.3 基于协同过滤的产品相似度计算方法

根据产品用户表(Hbase) 去计算公式得到相似度评分:

基于Flink商品实时推荐系统项目

3. 前台推荐页面

当前推荐结果分为3列,分别是热度榜推荐,协同过滤推荐和产品画像推荐

基于Flink商品实时推荐系统项目

4. 后台数据大屏

​ 在后台上显示推荐系统的实时数据,数据来自其他Flink计算模块的结果.目前包含热度榜和1小时日志接入量两个指标. 真实数据位置在resource/database.sql

基于Flink商品实时推荐系统项目

5. 部署说明

以下的部署均使用Docker,对于搭建一套复杂的系统,使用docker来部署各种服务中间件再合适不过了。这里有一套简单的Docker入门系列

详细的部署说明已经写了一篇文章来说明了,按照流程即可运行项目,无需自己搭建任何组件。  文章地址

Hbase部署说明-> 使用Docker搭建伪分布式Hbase(外置Zookeeper)

Kafka部署说明-> 使用Docker部署Kafka时的网络应该如何配置

6. Q & A

是否一定要使用Docker来部署环境?

不是的,项目刚开始写的时候都是通过独立的组件来实现功能的。后来为了让大家能够迅速的体验项目,省略搭建过程 才配置了多个Docker环境。所以如果有自己有Kafka 或者 Hbase 的搭建经验,更推荐自搭建的形式,这样更容易解决问题。

部署Docker带来的一系列问题

包括端口号/连接异常等等问题,多数原因是不同的 服务器 环境带来的,建议首先检查自己的防火墙等基础设施配置是否能够支持各个组件的连接。

基于Flink商品实时推荐系统项目

基于Flink商品实时推荐系统项目

戳原文,升职加薪!        你也「 在看 」吗?


以上所述就是小编给大家介绍的《基于Flink商品实时推荐系统项目》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

关注码农网公众号

关注我们,获取更多IT资讯^_^


为你推荐:

相关软件推荐:

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

推荐系统实践

推荐系统实践

项亮 / 人民邮电出版社 / 2012-6-1 / 49.00元

内容简介: 随着信息技术和互联网的发展,人们逐渐从信息匮乏的时代走入了信息过载(information overload)的时代 。在这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战:对于信息消费者,从大量信息中找到自己感兴趣的信息是一件非常困难的事情;对于信息生产者,让自己生产的信息脱颖而出,受到广大用户的关注,也是一件非常困难的事情。推荐系统就是解决这一矛盾的重要工具。推荐系统......一起来看看 《推荐系统实践》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器