什么是交通大数据
交通概念很大,所涉及的范围很广,如城市道路交通指数、地铁运行数据、一卡通乘客刷卡数据、港口集装箱数据、机场航班数据、轨道交通运营数据、远洋及内河航道船舶数据、物流车辆及货物数据、公交车实时数据、出租车行车数据、空气质量状况、气象数据、道路事故数据、高架匝道运行数据、以及衍生的相关拥堵、事故、违法信息等都属于交通数据。
我们通常所提的城市公安交通管理大数据是指在城市智能交通建设和运营的过程中,从视频监控、卡口电警、路况信息、管控信息、营运信息、GPS定位信息、RFID识别信息等每天产生的大量数据,并借助信息化手段将这些相互关联的数据整合到一起(比如车辆信息、地图信息、人员信息、违规违章记录信息等等),形成一个有价值数据链,从而知道城市交通信息化建设,为公安交通实战应用服务,为市民出行服务。
什么是云分析
云分析系统具备超高的计算性能,单机设备每天处理的信息量最大高达2000万张图片。云分析具备对卡口、电警以及部分监控设备拍摄的车辆图像信息的结构化智能分析功能,主要包括识别图像中车辆的品牌、型号、年款、车身颜色、类别、异常特征(如遮挡面部、遮挡号牌)、唯一性局部特征(如年检标志、车内饰物)等关键信息。
可对提交的图像中的车辆车牌颜色及车牌号进行二次识别,通过大数据进行,时间、地理、轨迹等的对比识别,以得出分析结果。
过去几年,智能交通系统建设取得了长足的进步与发展,针对道路交通违法、交通安全等,不断在不同的时间,不同的阶段建立了交通卡口、违法检测、道路智慧监控、交通事件监测等信息化系统,但这些信息化系统所采用的设备、平台均来自于不同的厂家,采用的标准,上下级不能很好的实现级联,与公安系统融合度不高,无法进行集中管理,资源共享,发挥统一的实战作用。
不同时期,不同阶段建设的信息化系统,技术路线,功能性能指标各异,在套牌、摘牌、故意遮挡号牌等涉车案件中,不能找到行之有效的手段处理。
现阶段,交通违法行为导致的交通安全、道路交通事故问题依然突出,交通违法管理的颗粒度也越来越细,道路交通安全法也不断的修正以满足交通管理工作的需要。其中,不系安全带、开车打电话等违法行为纳入了处罚范围,而过去建设的卡口系统绝大多数不具备这些功能,不能很好的服务公安交通管理需要。
云分析系统的出现,问题将迎刃而解。云分析系统创新型引入GPU+CPU的设计理念,单台设备每天最高处理性能达到2000万张图片,提取车牌号、车身颜色、车标、子品牌、车型、车脸等交警实战所需的结构化信息,并能够自动甄别不系安全带、打电话等违法行为,为公安交通管理提供全新的技术手段和业务体验。
系统设计
系统中采用的设计方法和技术路线在实战应用技术中处于领先地位,软件的设计先进灵活,便于升级以及与其它系统的互联互通。系统涵盖了目前实战应用所涉及的一系列技术,如:图像预处理、信息筛查、电子地图轨迹分析等,在此基础上融合了车型建模、车牌识别、车标识别、运动目标检测和行为分析、图片检索等智能视频图像分析技术,创新性的实现了“车脸识别”、“不系安全带检测”等功能,创造性的使用云分析实现超大数据量的图片二次识别,为用户提供超高性价比的解决方案。
系统设计时,对需要实现的功能进行合理的配置,且配置具有良好的兼容性和扩展性;通过提供二次开发接口,支持用户利用本系统自主开发新功能,满足业务需求。
系统具有开放性的标准体系,后端基于开放式的TCP/IP网络系统进行设计,支持多种网络协议,便于和各系统间的互联、互通、互控,遵循规范的通用接口标准,使系统对硬件环境、通信环境、软件环境、操作系统之间的相互制约和影响减至最小。
具有良好的人机交互界面,尽可能避免出现繁琐操作实现某项具体业务应用的情形。系统在体系设计及工程实施中应根据用户使用需求充分考虑性能优化,在合理时间范围内,尽可能缩短系统的操作响应时间;系统维护也应在合理范围内尽可能简化,使操作人员能快速地学习和掌握系统操作。
系统涵盖了目前交通管理业务应用所涉及的一系列技术,如:图像接入、通用解码、转码、图片索引、车型建模、图像预处理、信息筛查、电子地图轨迹分析、套牌分析等。基于云分析的二次识别方案配合大数据的高效查询、检索、研判方案,构筑了智能交通综合管控平台的数据底层支持优秀架构,为交警实战业务应用提供了极佳的用户体验。
1.1、系统架构
系统的使用者通常为指挥中心调度人员、指挥中心带班领导、支/总/大队的主管领导、交通秩序管理人员、大队分控中心人员、路面执勤民警等。系统维护的职责则由运维工程师和系统管理员完成。
主要的关键业务应用包括交通状况监测、日常组织与管控、应急指挥与协作、信息研判分析等方面,主要是应对城市交通管理的现状实时监视、日常业务处置、突发事件应对、交通数据挖掘研判等业务需求。
辅助核心业务的是一系列的支撑应用,包括基础数据管理(路网信息、设备设施信息)、警力资源管理(警员信息、警车信息、装备信息)、电子地图管理、系统配置管理。
在应用层下面是支持业务应用的支撑层,在这层完成对信息的采集、汇聚、加工、存储、交换等处理操作,同时支撑层还内包消息服务器、GIS地图中间件、视频服务、诱导服务等信令及数据的服务或中间件。
最下端为数据感知层,包括业务子系统及设备,为各类交通信息的原始数据来源,如GPS车辆轨迹信息、视频信息、通行车辆信息、交通流信息、施工占道信息、交通管制信息、气象信息等。
- 视频大数据技术平台
视频大数据技术平台负责存储和提取处理视频、图片等非结构化数据,通过视频结构化技术,可挖掘出视频图像中的人、车、物、事件等结构化信息,进一步用于大数据的分析挖掘。同时,视频大数据技术平台可提供视频摘要、视频浓缩、视频质量诊断等智能分析服务,使上层应用提高视频处理的效率。
- 通用大数据技术平台
通用大数据技术平台提供基于Hadoop和Spark的分布式存储、分布式计算等能力,负责整合并管理海量的结构化、半结构化、非结构化数据,具备高度的可扩展性,可将数千台的廉价服务器组建成一套庞大的云存储系统、一台超级计算机。基于Spark架构的内存运算,速度比传统的Hadoop快10~100倍,适合交通行业对时间要求的流式计算需求。
- 行业大数据能力平台
能够针对海量数据进行快速检索、快速统计分析,同时能够进行深度的关联分析,挖掘出其中有价值的信息。行业大数据能力平台以接口的方式为上层应用提供服务。
- 大数据运维平台
负责对整个大数据平台进行部署、配置、管理、监控,通过自动化安装的方式,方便用户架设大数据平台。同时,通过可视化界面,可以形象地获知整个平台的运行状况。随着业务的发展,当平台需要升级或扩容时,可方便的通过该工具进行调整。
1.1.1视频大数据技术平台
1、视频云存储
视频云存储系统解决百PB级视频基础数据视频数据的低成本、高可靠存储,支持视频流数据的高并发I/O。
视频云存储系统架构图
2、视频云分析
视频云分析平台则是通过整合用户现有的数据中心分析设备,对过车视频、过车图片等数据进行进一步分析,其中中心分析设备采用分布式计算节点集群的方式,能够提供基于任务自动负载均衡的数据处理方式,解决从海里视频图像数据中解析出来的视频结构化数据的需求。
视频云分析方案架构图
具体包括以下模块:
- 特征提取模块
特征提取模块负责对实时或历史视频图像中的结构化信息进行提取,包括人、车、物等特征信息。提取出的信息存储于大数据系统中,并作为DataEngine进一步分析的数据基础。
- 行为分析模块
行为分析模块负责对实时或历史视频图像中的行为信息进行分析,分析结果可作为上层应用报警的依据,同时行为信息作为结构化数据,可存储于大数据系统中,并作为DataEngine进一步分析的数据基础。
- 音频分析模块
音频分析模块负责对音频进行分析,识别异常音源,分析结果可作为上层应用报警的依据。
- 以图搜图模块
以图搜图模块负责对大数据系统中的图片数据进行分析比对,并按相似度返回图片列表。以图搜图模块支持对人脸图片的搜索,支持对车辆图片的搜索。
- 隐私保护模块
隐私保护模块负责对实时或历史视频图像中的人体影像进行模糊处理,保护个人隐私。
- 视频摘要模块
视频摘要模块负责对实时或历史视频进行摘要处理,提取出视频中有用的信息,合并到同一个背景中,以此缩短视频播放时间。视频摘要可有效缩短用户观看视频的时间,提高工作效率。
- 视频浓缩模块
视频浓缩模块负责对实时或历史视频进行浓缩处理,视频中有事件出现时进行慢放,无事件时进行快放,以此缩短视频播放时间。视频浓缩可有效缩短用户观看视频的时间,提高工作效率。
- 视频质量诊断模块
视频质量诊断模块负责对实时视频流进行质量诊断,以巡检的方式对前端接入视频流进行分析,实时发现摄像机是否在线、画面是否正常等问题。
- 视频图像增强复原模块
视频图像增强复原模块负责对实时或历史视频图像进行增强复原,对效果较差的视频、图像进行智能修复并增强处理。
1.1.2通用大数据技术平台
通用大数据技术平台是大数据的存储和计算中心,具有分布式、统一存储、统一访问、动态扩容的特点,用于汇集视频、图像、报警、卡口信息、位置信息、案事件等大数据,为数据的综合利用提供支撑。
系统技术架构图
分布式文件系统HDFS 2.0:运行在通用硬件上的可扩展高容错的分布式文件系统,已经成为海量数据存储的事实标准。负责海量数据存储,将数据分散存储在多台独立的设备上,系统采用可扩展的体系结构,利用多台存储服务器分担存储负荷,利用元数据服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
- 分布式资源管理YARN:分布式资源管理框架,负责计算、存储资源的管理,用以提高分布式集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。
- 分布式计算Map/Reduce:分布式计算框架,负责将一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。
- 分布式数据库HBase:一个分布式的、按列存储的、多维表结构的实时分布式数据库,用于存储粗粒度的结构化数据,适合构建高并发低延时的在线数据服务系统。
- 全文检索引擎Solr:一个基于Lucene构建的开源,分布式,RESTful搜索引擎,设计用于云计算中,能够达到稳定、可靠、快速实时搜索。
- 内存计算Spark:下一代基于内存的 Map/Reduce 计算引擎,处理大数据像“光速”一样快,比Hadoop Map/Reduce 快 10x 到 100x 倍。
- 流计算Stream:流计算,负责对流媒体数据的分析计算。
- 分布式协作Zookeeper:分布式协作系统,作为一个分布式锁及共享数据管理者,提供集群节点间的事物协调服务,保证HDFS、HBase、Spark、Map/Reduce等分布式系统的安全可靠运行。
- Kafka:分布式数据总线,负责数据的采集、整合、交互。
- Sqoop:SQL to Hadoop, 一个数据抽取工具,用于从关系数据导入数据到Hadoop。
1、分布式文件系统
HDFS是分布式计算中数据存储管理的基础,具有高容错性、高可靠性、高可扩展性、高吞吐率等特点,可以设计部署在低廉的硬件上,为海量数据提供了不怕故障的存储,适合那些有着超大数据集的应用程序。
2、分布式数据库
HBase是一种构建在HDFS之上的分布式、面向列的存储系统,它具有高可靠、高性能、面向列和可伸缩的特性。HBase适合于存储大表数据(表的规模可以达到数百亿行以及数百万列),并且对大表数据的读、写访问可以达到实时级别。
3、分布式计算
MapReduce是一种处理海量数据的并行编程模型和计算框架,用于对大规模数据集(通常大于1TB)的并行计算。MapReduce的名字源于该模型中的两项核心操作:Map和Reduce。Map将一个任务分解成为多个任务,Reduce将分解后多任务处理的结果汇总起来,得出最终的分析结果。
4、分布式协作系统
ZooKeeper是一个针对大型分布式系统的可靠协调系统,主要提供两个功能:帮助系统避免单点故障,建立可靠的应用程序;提供分布式协作服务和维护配置信息。
1.1.3行业大数据平台
行业大数据平台负责与通用大数据平台进行对接,负责对结构化数据(过车数据、测速数据)进行分析计算,提供快速检索、分析、统计、挖掘等功能,并提供用户最终的操作界面。面向交通行业的大数据业务展示平台,即为智能交通综合管控平台。
1.1.4大数据管理平台
大数据管理平台负责对整个大数据平台进行部署和管理,结构示意图如下图所示,包括集群部署、集群管理、任务管理、服务管理、状态监控、用户管理、告警、日志等模块。
大数据管理平台架构图
1.2、数据流程设计
前端新建及已建能够按照标准协议接入的设备通过智能交通综合管控平台交通接入服务器接入转发至云分析平台进行车辆建模和二次识别。已经部署云存储模块的系统,云分析也能够直接从云存储中读取图片信息进行车辆建模和二次识别。
已建的第三方平台,提供符合要求的SDK协议,智能交通综合管控平台进行数据整合后再转发至云分析平台进行车辆建模和二次识别。
云分析通过智能交通综合管控平台提供的图片URL信息加载图片,进行建模和二次识别,完成建模和二次识别后,将识别结果信息如车牌、车型、车辆品牌等信息提供给大数据平台。
大数据平台读取二次识别的结果信息,写入到HDFS分布式文件存储系统中;基于HDFS分布式文件系统部署分布式数据库,用来承载数据的预统计表和二级索引表。在数据搜索层,部署基于Solr分词的全文检索搜索引擎,并通过MapReduce分布式计算框架提供高效数据分析速度。Zookeeper提供分布式文件系统之间的多进程协调服务。
数据写入、检索、统计和研判应用,大数据平台提供统一的webservice接口,智能交通管控平台通过调用大数据平台接口进行处理应用。
1.2.1云分析数据处理流程
云分析可以采用的工作模式主要包括主动工作模式和被动工作模式。目前采用的是被动工作模式。
主动工作模式的特点是中央强力控制,即由中心管理服务下派任务到指定的计算节点,计算节点没有发起任务申请的权利。被动工作模式则相反,由计算节点主动向中心管理服务发起申请,申请获得批准后获得执行任务,然后开始任务执行,任务执行过程中与中心管理服务保持实时更新,确保任务能够正常完成。
被动工作模式相比主动工作模式而言能够突出计算节点的优势,管理单元越小,管理的难度也就越小。如果按照主动工作模式,由中心管理服务全部承担任务分派、任务调度等功能,负载、责任过大,容易造成单点失败。即便采用集群方式或者单点灾备模式,依然没有真正解决负载过重、任务调度节点易失败等情况。被动工作模式把任务申请职责交给了计算节点,各个计算节点按照自己的实际情况决定是否发起任务申请,这样可以有效地避免计算节点出现计算资源使用率频繁切换、异常波动,同时,降低了中心管理服务的压力。
任务调度方面,云分析通过接入第三方应用平台,实时获取执行任务信息,然后通过中心服务管理动态调度任务的方式达到高优先级任务优先执行的目的。对于计算节点来说,它申请获得任务没有优先级之分,一旦申请成功,立即转入工作状态。同时,由于云分析节点是分布式部署,系统高并发执行的效果可以有效的提高分析执行效率、优化网络带宽的流量压力,使得整个监控系统的性能得到更大的提升。
1.2.2大数据数据处理流程
大数据技术平台是大数据的存储和计算中心,具有分布式、统一存储、统一访问、动态扩容的特点,用于汇集视频、图像、报警、卡口信息、位置信息、事件等大数据,为数据的综合利用提供支撑。
1.3、交通大数据平台功能
1.3.1快速检索
针对过车记录表及违法记录表有针对车牌的精确查询及模糊查询需求,如下:
1、过车记录精确查询
车牌结合过车时间(开始时间+截止时间)、根据选择卡口、车道、方向、车辆标识、颜色深浅、车辆类型、车速、车长、号牌段、车身颜色、车牌颜色等其它筛选条件随意组合在海量过车记录数据中对车牌做精确查询并且要求在秒级内返回查询结果。
2、过车记录模糊查询
车牌结合过车时间(开始时间+截止时间)、根据选择卡口、车道、方向、车辆标识、颜色深浅、车辆类型、车速、车长、号牌段、车身颜色、车牌颜色等其它筛选条件随意组合在海量过车记录数据中对车牌的前缀、中间、后缀做模糊查询并且要求在秒级内返回查询结果。
3、违法记录精确查询
车牌结合过车时间、车辆类型、车辆颜色、车牌类型、车牌颜色、违法行为、处理状态等其它筛选条件在海量违法过车记录数据中做精确查询并且要求在秒级内返回查询结果。
4、违法记录模糊查询
车牌结合过车时间、车辆类型、车辆颜色、车牌类型、车牌颜色、违法行为、处理状态等其它筛选条件在海量违法过车记录数据中对车牌的前缀、中间、后缀做模糊查询并且要求在秒级内返回查询结果。
5、轨迹查询
查询车辆在特定的时间段内的行车轨迹:即在某个时间段内(根据场景,还可以设置车辆类型、颜色深浅、车牌类型、车牌号码、车速、车长、号牌段、车身颜色、车牌颜色等限制条件),同时经过多个卡口(至少两个以上才能确定一条轨迹)的过车信息。
6、快速统计
针对过车记录表及违法记录表有如下统计需求:
- 过车记录表车流量统计
以卡口(或车辆类型、车辆归属)为维度结合统计时间、方向、车辆归属地、车辆类型、车牌类型等特定筛选条件对过车记录做统计,生成相应日(或周、月、年)报表:即根据设定的维度,还有根据报表类型分割的时间粒度,统计各个时间区间内的车流量。
- 过车记录表车流量对比
同一个卡口不同时间段(跨度在1天内)的车流量对比以及不同卡口同一时间段(跨度在1天内)的车流量对比。
通过车流量对比能够对改善城市交通调度提供依据。
- 违法记录表车辆违法统计
选定一组卡口,在选定的开始时间和结束时间内,统计各卡口所有的过车记录数和违法记录数。
- 过车记录表特定时间段车流量统计
同车流量对比,时间颗粒度变成一天,并且可以选定一天中具体的若干个时间段。
- 过车记录车辆行车轨迹统计
根据选定统计方式(即统计维度:包括按车牌类型统计、车牌颜色统计),统计在选择的时间段内,经过指定轨迹(所谓的轨迹:即由多个卡口确定的一条行车路径,带方向,比如,从路径A->B->C,和路径C->B->A是俩条不同的轨迹)的车流量次数(还包括其他的过滤条件,如:车辆归属地、车辆类型、车牌类型、车牌颜色,同一车牌多次经过指定轨迹按多次计算)。
1.3.2研判分析
1、过车记录表频度研判
分析出在特定卡口上(一个或多个),在特定时间段内,过车次数满足一定条件的所有过车信息和过车数:所谓的满足一定条件是指过车次数大于等于(或小于等于或等于)(频度设置)一定数量(频度阈值),根据设定的频度阈值,分析在某一段时间内通行路口次数超过设定阈值的车辆。
对指定区域(卡口)做过车频度分析,过滤出频繁出入的车辆(过车次数满足指定阈值)进行重点关注,对预防犯罪及嫌犯跟踪有重大贡献。
2、过车记录表特定时段车辆研判
实际上就是阈值为0,时间跨度在1天之内的频度研判。
3、过车记录表短时过车研判
在特定的时间段内,所选择的卡口组合(一个或多个)中的过车时间与参考卡口中的过车时间的绝对值小于设定的某个值(passInterval)的所有过程信息:找出同一车辆同时经过参考卡口及指定卡口组合,过滤出经过参考卡口与指定卡口的时间差小于设定的阈值的车辆,以协助公安人员分析出套牌或超速等其它违章行为的嫌疑车辆。
4、过车记录表车辆初次入城研判
特定时间范围结合特定筛选条件(车辆归属地、车辆类型、车牌类型等特定筛选条件),找出经过“入城”路口的车辆,并找出这些车辆之前30是否有“入城”记录,如果没有将做重点关注以预防其犯罪。
5、过车记录表区域碰撞研判
特定的N(2<=N<=5)个区域(1~5个卡口组成一个区域),结合各区域指定的时间范围,找出同一辆车在指定条件下经过其中的两个及以上区域的车辆,并统计其经过次数进行数据碰撞。区域碰撞功能给公安查询分析跨区反复作案的嫌疑车辆带来极大的便利。
6、过车记录表行车轨迹研判
特定时间范围结合特定筛选条件(车辆归属地、车辆类型、车牌类型等特定筛选条件)找出制定车牌在此时间范围内的过车记录。
7、过车记录表跟车研判
特定时间段内过车时间相差一定间隔的所有过车信息:首先根据特定时间段(还可以指定车牌或路口名称)查出参考车辆及其过车信息,然后指定一条过车记录,查询出与该记录相隔一定时间段(早或者晚)的所有过车信息。
针对嫌疑车辆可能会结队出行的特点,在刑侦等业务应用时,确定特定嫌疑车辆后,通过数据挖掘的方式分析其通过多个监测点时相邻的车辆号牌,能够找出与嫌疑车辆有关联的车辆,从而获取破案线索。
8、违法记录表违法多发时段研判
特定时间范围给定卡口,以一小时为颗粒度统计出各个时段违法记录数形成一张对比直方图以协助城市交通改造。
- 违法记录表违法多发地研判
特定时间范围内给定卡口,统计出各个卡口违法记录数形成一张对比直方图以协助城市交通改造。
9、驾驶人员行为源头管控
驾驶人员行为源头管控,是指对开车经常超速在20%以下,但是又有超速习惯的驾驶人员(不违法,但是有违法的嫌疑),进行专项的分析,然后以非现场执法的形式发送通知短信,进行源头管控;筛选超速10%~20%车辆,然后进行统计,分析其超速行为的概率,从而判断驾驶人员的动态评分规则;
10、特种车辆轨迹时空域分析
基于大数据的特种车辆管控,是指针对类似渣土车、校车等安全等级较高的车辆,通过设定专属的行驶路线,一旦出现车辆偏离行车路线的时候,即发送报警信息给相关人员,从而确保特种车辆始终处于受控的安全状态。
11、车辆遮阳板与案件关联的时空域分析
大数据平台根据卡口的过车数据对每辆过往车辆建立单独的信息库,与车管库的车辆信息库所不同的是,该信息库是专门用于过车信息研判。例如卡口会对每辆过车时是否放下了遮阳板进行检测,大数据平台则统计车辆的全部过车照片,放下遮阳板的次数有多少;打开遮阳板的次数有多少,随后定义一个研判规则,例如这个比例超过50%,那么驾驶人就有一定的违法嫌疑,进入单独的违法嫌疑车辆库;这个信息库往后来看,就是根据一些统计结果来判断驾驶人员的驾驶行为分析。
12、同行车辆多模型分析
基于大数据的同行车辆分析,是指针对具有跟车相关的团伙作案时的车辆进行进一步研判,研判的规则包括筛选某个固定时间区间内同行经过N个卡口数量的车辆信息;筛选某个固定时间内有关多车关联性的分析,举例而言就是通过跟车关联性研判发现车辆A与车辆C有跟车关联性,车辆B与车辆C有跟车关联性,那么分析车辆A和B之间的跟车关联性的嫌疑性。
13、多业务维度积分研判分析
基于大数据平台的多业务维度车辆积分研判,是武进技防和图侦相关干警参考其他地市先进的车辆信息技战法以及结合自身对实际嫌疑车辆研判时所提出的一种新的研判分析方法。其根据对车辆的出没时间属性、出没卡口地点属性、驾驶人员违反行为信息、牌照归属地信息等多种有关车辆属性进行综合考虑,引入一套关于车辆积分研判的方法,因此在对车辆信息进行有针对性地研判时带来一种全新的体验。同时为了满足研判和预警实时性的要求,大数据采用spark流计算的方式保证车辆积分能够实时处理并将结果分发相关人员。
14、基于车辆相关数据的车辆套牌的相关性分析
在现有的视频作战平台中,已经引入了一套根据同一时间内出现在不同地点来判断是否套牌车辆的相关分析手段,但是由于前端卡口设备在车辆识别率上并不能达到100%,因此有一定的误报率;此外该种套牌分析方法在定位一些非当前库内所包含的车辆信息时往往缺乏有效的分析手段;而大数据平台则是利用本期和前三期中一些已经对车辆进行二次结构化处理后的数据(例如车型、车标、子品牌、年款等)进行套牌车分析库,将被盗抢车作为套牌车辆分析的重点,从而判断套牌车辆的可能性;另外大数据平台将在时空领域上结合GIS应用,根据车辆不正常的出没规律来分析套牌车辆的可能性,例如某辆车C在不同的时内从区域A出现在区域B,但是逻辑上区域A和区域B必须经过某几个卡口,但是在该段区域和时间内没有任何关于车辆C的过车卡口描述,因此可以判断车辆C是否为套牌车辆。
15、车辆时空出没规律分析
大数据平台的另一个重要的作用是多元多维度的统计分析方法,针对某一辆车辆信息,大数据平台采用分布式计算的方法将车辆信息的过车点位信息、所有过车卡口的出没频次、出没时间段、经常活动的区域、经常经过的监控点位信息以及违法信息统计和同行车辆信息进行统一展示,可以提供包括车辆的居住地和工作地相关信息预测。同时预留这些数据分析结果,可进一步用于车辆与相关案件关联性的分析。
1.3.3基于大数据平台的以图搜图功能
以图搜图是当前智能交通综合管控平台针对车辆检索的新型的检索方案,系统支持以一张原始图片为基础搜索条件,根据图片中车辆的特征信息(例如车头、车窗、车内饰等)查询目标车辆,根据特征信息的相似度进行从高到低的检索方案。当前以图搜图主要有云存储和图片服务器两种方案,分别如下图所示:
云存储方案
图片服务器方案
云存储方案用于大型规模的智能交通平台,一般为日均过车数据在几百万以上的项目中。其中使用云存储设备作为数据信息的核心服务器,内置智能建模的算法;而智能服务器在系统中充当查询对比服务器,为用户返回最终分析结果。该方案图片预建模和分析全都在云存储系统中完成,而检索部分则由专门的智能分析服务器完成,因此是全网范围内的以图搜图应用,搜索的效率会比较高。
而图片服务器方案则适用于中小型规模的智能交通平台,由智能分析服务器完成过车数据的建模,并由其进行数据对比并返回以图搜图的对比结果。该方案则所有的建模分析和检索则全部依靠智能分析服务器完成,因此整个系统的瓶颈在于智能分析服务器的性能。
相比较这两种方案的以图搜图的实现方式,基于大数据平台的以图搜图实现方式则进一步将图片资源的二次结构化和大数据平台的全文检索功能进行融合,从而将以图搜图的功能从精准检索更进一步扩展到极速检索。
1.4、云分析系统功能
1、车牌二次识别
系统能够识别车牌文字、字母、数字
2、车身颜色二次识别
系统能够识别11种车身颜色,白色、灰色、黑色、红色、紫色、蓝色、黄色、绿色、青色、棕色、粉红色。还可以识别车身颜色的深色和浅色。
3、车型二次识别
系统能够识别7种常见车型,包括客车,大货车,轿车,面包车,小货车,SUV,中型客车。
4、车牌颜色二次识别
系统能够对车牌颜色自动识别,识别的5种车牌颜色包括蓝、黄、绿、白、黑。
5、 车标二次识别
系统可识别的车辆标志包括:奔驰、宝马、大众、别克、丰田、本田、依维柯、金杯、福特、现代、马自达、奇瑞、奥迪、雪铁龙、雪弗兰、标致、东风、五菱、尼桑、起亚、皇冠、东南、比亚迪等两百多种车标。
6、车辆子品牌二次识别
系统可识别的细分车型包括:奥迪A6L、奥迪Q3、奥迪Q5、阿斯顿马丁DB9、阿斯顿马丁DBS、保时捷911、别克GL8、君威、君越、奔腾B50、奔腾B70、本田歌诗图、本田锋范、标致307、标致308等两千多种细分车型,其涉及范围包括当前已停售,或刚上市热销的各种细分车型。
7、 遮阳板二次识别
系统能够对打开遮阳板进行检测,为公安交通管理和刑侦案件侦破提供科技新手段。
8、黄标车二次识别
系统能够对黄标车进行检测,为黄标车专项整治、城市环保提供决策支撑。
9、未系安全带二次识别
系统能够对未系安全带违法行为进行自动检测,为交警查处未系安全带违法行为提供了科技新手段,从而规范驾驶人安全驾驶行为。
10、 异常车辆二次识别分析及报警
系统能够对假牌、套牌、无牌、车牌遮挡、污损、模糊、逾期未年检、逾期未报废车辆进行自动检测识别,对识别不到异常牌照,能够进行自动预警。
11、以图搜图
以图搜图,是通过搜索图像文本或者视觉特征,在系统中通过类似信息的比对,获取到真正实际需求的图像信息的一种智能搜索方法,可应用于套牌车辆分析等应用中,根据车窗上的车辆年检标识、车辆内饰等车辆特征搜索类似车辆。可应用与无牌车的分析研判,根据车型搜索符合条件的无牌车,然后利用以图搜图根据车标、子品牌、车身颜色等信息定位车辆真实信息,可协助公安交警部门查处套牌车辆、盗抢车辆、肇事逃逸车辆等。
以图搜图的工作流程包括数据建模和比对分析两个步骤:
1)数据建模
由云分析对过车图片进行统一建模,建模数据直接存储在大数据平台中。
2)分析比对
大数据平台根据用户需要查询的原始图片和特征比对信息,自动与要查询的原始图片进行比对,比对结果按相似度返回给大数据平台。
12、连续违法分析
以不同卡口、不同时间为基点,自动检索多次违法的车辆。分析结果支持列表展示,自动列出分析结果展示具体违法记录。
13、通行车辆实时监控分析
可对单个卡口,多个卡口进行实时监控,包括通过时间、通过地点、号牌种类、号牌号码、行驶方向、行驶速度、车辆类型、车身颜色、车辆属地、图片详情及行进轨迹等。
14、特种车辆轨迹时空域分析
基于大数据的特种车辆管控,是指针对类似渣土车、校车等安全等级较高的车辆,通过设定专属的行驶路线,一旦出现车辆偏离行车路线的时候,即发送报警信息给相关人员,从而确保特种车辆始终处于受控的安全状态。
15、车辆遮阳板与案件关联的时空域分析
大数据平台根据卡口的过车数据对每辆过往车辆建立单独的信息库,与车管库的车辆信息库所不同的是,该信息库是专门用于过车信息研判。例如卡口会对每辆过车时是否放下了遮阳板进行检测,大数据平台则统计车辆的全部过车照片,放下遮阳板的次数有多少;打开遮阳板的次数有多少,随后定义一个研判规则,例如这个比例超过50%,那么驾驶人就有一定的嫌疑,进入单独的嫌疑车辆库;这个信息库往后来看,就是根据一些统计结果来判断驾驶人员的驾驶行为分析。
16、多业务维度积分研判分析
基于大数据平台的多业务维度车辆积分研判根据对车辆的出没时间属性、出没卡口地点属性、驾驶人员违反行为信息、牌照归属地信息等多种有关车辆属性进行综合考虑,引入一套关于车辆积分研判的方法,因此在对车辆信息进行有针对性地研判时带来一种全新的体验。同时为了满足研判和预警实时性的要求,大数据采用spark流计算的方式保证车辆积分能够实时处理并将结果分发相关人员。