2.1、login_count 登录次数这个指标简单,根据dwd层,dwd_page_log表可以直接计算。 2.2、cart_count 加入购物车次数;favor_count 收藏次数;这两个指标也是很简单,直接根据dwd层,dwd_action_log表中获取。 2.3、order_count 下单次数;order_activity_count订单参与活动次数;order_activity_reduce_amount订单减免金额(活动...
启动任务 # 启动三个消费者,分别消费 dwd_start_log、dwd_page_log、dwd_display_log 主题$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic dwd_page_log 尚硅谷 源代码 B站视频 DWD&DIM 大数据-数据仓库-实时数仓架构分析 大数据-业务数据采集-FlinkCDC 大数据 - DWD&DIM 行为数...
启动任务 # 启动三个消费者,分别消费 dwd_start_log、dwd_page_log、dwd_display_log 主题$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic dwd_page_log 尚硅谷 源代码 B站视频 DWD&DIM 大数据-数据仓库-实时数仓架构分析 大数据-业务数据采集-FlinkCDC 大数据 - DWD&DIM 行为数...
# 启动三个消费者,分别消费 dwd_start_log、dwd_page_log、dwd_display_log 主题 $ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic dwd_page_log 1. 2. 尚硅谷 源代码B站视频 DWD&DIM
pageDS.addSink(MyKafkaUtil.getKafkaSink("dwd_page_log")); 运行jar包查看输出效果 四、准备业务数据DWD层 可以使用FlinkCDC采集业务数据的变化(MySQL),将全部数据保存到ODS层的一个topic中 但上述数据既包括事实表,也包括维度表 该功能是从ODS层读取数据,将维度数据保存到HBase,将事实数据写到DWD层 ...
page.during_time, page.item page_item, page.item_type page_item_type, page.last_page_id, page.page_id, page.source_type, action.action_id, action.item action_item, action.item_type action_item_type, action.ts from ods_log_inc lateral view explode(actions) tmp as action where dt='20...
页面日志解析思路:页面日志表中每行数据对应一个页面访问记录,一个页面访问记录应该包含日志中的公共信息和页面信息。先将所有包含page字段的日志过滤出来,然后使用get_json_object函数解析每个字段。 droptableifexistsdwd_page_log;CREATEEXTERNALTABLEdwd_page_log(`area_code`stringCOMMENT'地区编码',`brand`stringCOMM...
page.during_time,page.item page_item,page.item_type page_item_type,page.last_page_id,page.page_id,page.source_type,ts,if(page.last_page_idisnull,ts,null)session_start_pointfromods_log_incwheredt='2020-06-14'andpageisnotnull)logleftjoin(selectid province_id,area_codefromods_base_...
(ts,'GMT+8'),'yyyy-MM-dd HH:mm:ss') view_time, common.sid session_id, page.during_time from ${APP}.ods_log_inc where dt='$do_date' and page is not null; set hive.cbo.enable=true; " dwd_user_register_inc=" set hive.exec.dynamic.partition.mode=nonstrict; insert overwrite ...
{APP}.dwd_page_log lateral view explode(Array(1,7,30)) tmp as recent_days where dt>=date_add('$do_date',-30) and dt>=date_add('$do_date',-recent_days+1) )t2 )t3 )t4 group by recent_days,source,target; " ads_repeat_purchase=" insert overwrite table ${APP}.ads_repeat_...