大数据分析平台算法

分析12个群集中的Hbase天空表数据，并将结果数据存储在135个群集的hdfs中. 目的是利用135个集群的资源对大数据分析平台的各种算法进行业务计算，而不是抢占12个集群的生产环境的资源.

com.txj.lbs.hbaseProc.GpsHbaseToHdfsApp

执行脚本文件:

gps_hbase_2_hdfs.sh

衍生程序

您可以通过以下步骤执行任务并设置Azkaban任务的计划时间.

步骤1: 输入azkaban地址: : 8081 /，在登录界面中输入帐户名和密码.

azkaban登录界面

第2步: 点击右侧的“创建项目”按钮以创建项目. 下图中的“ lbs_clean”是创建的位置信息清洁项目.

项目创建界面

第3步: 点击“上传”按钮，上传azkaban项目；然后单击“执行流程”按钮以进入派生程序执行界面.

项目上传界面

步骤4: 根据图中的执行顺序依次设置任务启动参数，最后单击“执行”按钮执行任务. 可以为单日和多日日期设置参数.

任务执行界面

步骤5: 在任务执行界面中单击“计划”按钮，以进入计划设置界面. 完成以下设置后，该任务将在每天凌晨1点启动任务.

计划设置界面

每天由ETL程序存储的Hbase表，表名: t_gps_std _ $ {date}和t_gps_sq _ $ {date}

按天存储的微分程序输出路径

按天计算陕西汽车所有车辆的出入口面积. 该地区分为地级市，中央直辖市和省. 统计指标包括: 车辆终点站号，进入该区域的时间和位置，该区域的行驶，暂停时间等.

com.txj.lbs.area.GpsRegionalDetailApp

com.txj.lbs.area.GpsRegionalCntApp

gps_regional_detail.sh

gps_regional_cnt_daily.sh

gps_regional_cnt_month.sh

1. 根据可靠的GPS数据计算车辆的出入口面积. 由于报告的GPS数据是按时间报告的，因此进入和退出区域的计算时间为一段时间. 为了避免在同一类型的白天开车，该区域花费的时间少于24小时，并且当天的第一个和最后一个数据四舍五入为上午0时和晚上24时.

2. 查询当前GPS点的管理区域需要通过RPC调用Qingyan接口，这非常慢. 因此，如果当前GPS点与前一个GPS点之间的时间差大于5min或当前GPS与当前GPS点之间的差大于5km，则对GPS数据进行采样和采样. 然后找出要点，然后调用Qingyan界面查询六位数的行政区号.

3. 根据行政法规，使用前两个数字获取省或市的编号算法的数据包括哪些，并使用前四个数字获取地级市的编号；分别获得按时间排序的车辆管理代码. 地级市出入境统计；对于无法从行政区号中提取特征的西南，西北和东北等特殊区域，总面积通过代码拼接计算.

4. 大数据分析平台可计算车辆停留在特定区域的时间长度，而只需通过报告GPS位置即可进行判断. 如果多个GPS报告了相同的位置，则认为车辆是从第一次报告到最后报告的时间报告的. 如果需要准确计算将来的停留时间，请再次进行优化.

5. 通过上诉逻辑计算，可以获得车辆进入和离开区域的详细数据: 进入区域的时间，GPS位置，离开区域的时间，GPS位置，该区域的总时间长度，出口并停留在相同的位置，并保持行驶时间.

6. 根据进出区域的详细数据，计算车辆进入特定时间段的次数. 统计时间的最小粒度为天，统计区域的最小粒度为地级市.

7. 跨天注意事项: 如果进入和离开区域的明细数据中最后一个出口区域的时间与进入区域的当前时间相同，则将明细数据的两个数据记录视为同一条目退出，并合并Processing；由于每天都会定期处理GPS数据，因此也可以合并和处理穿越天空区域的车辆.

数据位置: hdfs: //172.16.88.135/txj/data/gps/sq/$ {date}

数据格式: 终端号|时间| GPS校准| GPS | GPS高度| GPS速度| GPS方向

数据样本: 323247463 | 1553097835 | 1 | 108.675646,34.072613 | 395 | 0 | 0

数据位置: hdfs: //172.16.88.135/txj/data/mid/regional/detail/sq/daily/$ {date}

数据格式: 该区域中的终端编号|数据类型|行驶时间|行驶时间|行驶时间|行驶GPS |行驶时间GPS |持续时间|停车持续时间|行驶持续时间

（备注: 数据类型: 0: 地级市，1: 省，市算法的数据包括哪些，2: 特殊地区）

样本数据:

323203407 | 0 |西安| 1546272000 | 1546358400 | 108.84347,34.22493 | 108.84669,34.14278 | 86400 | 64621 | 21779

数据位置: hdfs: //172.16.88.135/txj/data/mid/regional/cnt/sq/daily/$ {date}

数据格式: 终端号|数据类型|该区域的持续时间|停车时间|进入次数|进入平均时间

数据示例: 1805020155 | 1 |陕西省| 8.79 | 4.10 | 4.69 | 2 | 4.40

com.txj.lbs.area.oracleProc.GpsRegionalTOracle

gps_regional_cnt_daily.sh

gps_regional_cnt_month.sh

通过JDBC调用Oracle接口以执行数据存储操作，并分批处理数据. 为了减轻Oracle访问的压力，每100个数据执行一次数据存储操作.

天空桌: SQOS.IOV_REG_D_20190101

每月表: SQOS.IOV_REG_M_201901

运行程序

按日计算陕西汽车所有车辆的轨迹热点和停车热点. 结果数据存储在hdfs中，并且每月将数据存储到oracle中，以供前台查询. 停靠热点包括: 长期停车，白天停车，夜间停车，高频停车等. 统计指标包括: 车辆终点站号码，热点哈希，热点GPS位置，频率值等.

条目类别:

com.txj.lbs.hotspot.GpsHotSpotCntApp

执行脚本文件:

gps_hot_spot_clc.sh

azkaban执行流程图:

跟踪，停靠热点程序

算法逻辑:

1. 根据可靠的GPS数据计算车辆的出入口面积. 由于报告的GPS数据是按时间报告的，因此进入和退出区域的计算时间为一段时间. 为了避免在同一类型的白天开车，该区域花费的时间少于24小时，并且当天的第一个和最后一个数据四舍五入为上午0时和晚上24时.

2. 查询当前GPS点的管理区域需要通过RPC调用Qingyan接口，这非常慢. 因此，如果当前GPS点与前一个GPS点之间的时间差大于5min或当前GPS与当前GPS点之间的差大于5km，则对GPS数据进行采样和采样. 然后找出要点，然后调用Qingyan界面查询六位数的行政区号.

3. 根据行政法规，使用前两个数字获取省或市的编号，并使用前四个数字获取地级市的编号；分别获得按时间排序的车辆管理代码. 地级市出入境统计；对于无法从行政区号中提取特征的西南，西北和东北等特殊区域，总面积通过代码拼接计算.

4. 大数据分析平台可计算车辆停留在特定区域的时间长度，而只需通过报告GPS位置即可进行判断. 如果多个GPS报告了相同的位置，则认为车辆是从第一次报告到最后报告的时间报告的. 如果需要准确计算将来的停留时间，请再次进行优化.

5. 通过上诉逻辑计算，可以获得车辆进入和离开区域的详细数据: 进入区域的时间，GPS位置，离开区域的时间，GPS位置，该区域的总时间长度，出口并停留在相同的位置，并保持行驶时间.

6. 根据进出区域的详细数据，计算车辆进入特定时间段的次数. 统计时间的最小粒度为天，统计区域的最小粒度为地级市.

7. 跨天注意事项: 如果进入和离开区域的明细数据中最后一个出口区域的时间与进入区域的当前时间相同，则将明细数据的两个数据记录视为同一条目退出，并合并Processing；由于每天都会定期处理GPS数据，因此也可以合并和处理穿越天空区域的车辆.

数据输入

数据位置: hdfs: //172.16.88.135/txj/data/gps/sq/$ {date}

数据格式: 终端号|时间| GPS校准| GPS | GPS高度| GPS速度| GPS方向

数据样本: 323247463 | 1553097835 | 1 | 108.675646,34.072613 | 395 | 0 | 0

数据输出

详细数据:

数据位置: hdfs: //172.16.88.135/txj/data/mid/regional/detail/sq/daily/$ {date}

数据格式: 该区域中的终端编号|数据类型|行驶时间|行驶时间|行驶时间|行驶GPS |行驶时间GPS |持续时间|停车持续时间|行驶持续时间

（备注: 数据类型: 0: 地级市，1: 省，市，2: 特殊地区）

样本数据:

323203407 | 0 |西安| 1546272000 | 1546358400 | 108.84347,34.22493 | 108.84669,34.14278 | 86400 | 64621 | 21779

统计数据:

数据位置: hdfs: //172.16.88.135/txj/data/mid/regional/cnt/sq/daily/$ {date}

数据格式: 终端号|数据类型|该区域的持续时间|停车时间|进入次数|进入平均时间

数据示例: 1805020155 | 1 |陕西省| 8.79 | 4.10 | 4.69 | 2 | 4.40

进入和离开区域的数据进入和退出程序

条目类别:

com.txj.lbs.area.oracleProc.GpsRegionalTOracle

执行脚本文件:

gps_regional_cnt_daily.sh

gps_regional_cnt_month.sh

通过JDBC调用Oracle接口以执行数据存储操作，并分批处理数据. 为了减轻Oracle访问的压力，每100个数据执行一次数据存储操作.

表名:

天空桌: SQOS.IOV_REG_D_20190101

每月表: SQOS.IOV_REG_M_201901

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-237201-1.html