华迪大数据可视化情报侦查系统ppt课件.ppt

航天信息.华迪计算机集团有限公司2022年11月20日星期日,大数据可视化情报侦查系统汇报交流,大数据可视化情报侦查系统 提纲,现状分析,产品介绍,总体设计,总结,现状分析,我们正处在大数据时代,大数据时代,大数据时代是一个数据为王的时代。大数据是一个海量异构数据集合，其大小超出了传统和现有工具的采集、访问、存储、管理与分析的能力，难以在限定时间内进行分析和应用。根据国际数据咨询(IDC)公司监测，全球数据量每两年翻一番，预计到2020年，全球将拥有35ZB的数据量，并且85%以上以非结构化或半结构化的形式存在。,大数据时代给公安警务信息化和情报分析研判工作的发展提供了重大机遇，公安机关提出并正在推进的“情报主导警务”、“大情报”等战略发展都离不开大数据的应用。大数据时代的到来，即是挑战也是机遇。一方面，大数据使公安工作进入到一个针对密集型数据处理的时代；另一方面，大数据的产生也将为公安工作诸如新的活力，基于大数据的数据采集、数据挖掘、可视化分析、数据组织和情报研判等必将成为公安工作获取情报的主要方式。实践证明，大数据的应用将给公安工作带来革命性的变革。,我们正处在大数据时代,GOOGLE通过全美各地区搜索H1N1及流感相关关键字频率和分布，得出疫情爆发情报,对冲基金通过Twitter用户每天关于情绪的关键字进行以亿为单位的数据分析，用以为买入和卖出股票做参考,BOSTON爆炸案，第二天抓获嫌疑犯，制止再次作案，Google glass和3D打印技术的发展，对于数据时代的贡献；沃尔玛如何做数据分析？,大数据4V特征： Volume：数据体量巨大 Variety：数据种类繁多 Velocity：流动速度快 Value：价值密度低,大数据示例：,大数据与侦查模式变革,大数据时代,大数据将使犯罪侦查模式发生根本性变革。大数据驱动的侦查模式是时代的必然选择，这不仅在于复杂的犯罪态势及其数据化生态，更在于大数据技术使得这种选择成为现实。在大数据时代，侦查要确立在线开放的理念、数据主导侦查理念、相关性理念、线上破案与线下证明相结合的理念。大数据驱动的侦查是一体性侦查、全景侦查、预测侦查和算法侦查。其机制主要有犯罪监控机制、犯罪侦破机制、犯罪预测机制。,一、复杂的犯罪态势与大数据时代犯罪的数据化生态二、大数据驱动的侦查模式是时代的必然选择三、大数据驱动的侦查模式的理念变革四、大数据驱动的侦查模式的特点五、大数据驱动的侦查模式运行机制,大数据与侦查模式变革,大数据时代,一、复杂的犯罪态势与大数据时代犯罪的数据化生态近二十多年来，中国犯罪率呈逐年上升趋势，刑事案件立案数平均每年增长22以上，超过了全国GDP的增长。一是运用科学思维实施的犯罪；二是利用科学技术实施的犯罪三是犯罪时空的复杂性。现代科技的发展，使得犯罪时间非线性，犯罪空间缺席性，时空组合的多维、多样化和任意性四是案件因果联系复杂，现代社会是一个动态、复杂社会。在动态、复杂社会中，因果联系具有非线性、偶合性、多因性、断裂性，犯罪的因果联系往往难以确定。问题：狡猾的犯罪者能有例外而成为“数据隐士”吗? NO因此，在大数据时代，不要说数字化犯罪，即使传统手段的犯罪，都可以说落入了一种“天网恢恢，疏而不漏”的网络记录和存储体系，数据化就是当下犯罪的现实生态。,大数据与侦查模式变革,大数据时代,二、大数据驱动的侦查模式是时代的必然选择业务信息主导侦查模式:其主要特征是：一是侦查部门依赖于公安平台所累积的结构化的数据库主要用于人、事、物的核查、比对，实时犯罪信息仍然主要依靠人工采集。二是信息提取依然困难。三是信息分析、研判仍然主要依靠侦查人员的经验。大数据驱动侦查模式:是建立在大数据和云计算平台的基础上，是大数据时代的信息主导侦查模式的升级换代。在大数据时代，大数据驱动的侦查模式是一种时代的必然选择，这不仅在于复杂的犯罪态势及其数据化生态，更在于大数据技术使得这种选择成为现实。首先，犯罪的数据化生态是大数据驱动侦查模式的现实基础。其次，在大数据时代，侦查所面对和所能处理的数据不再是小数据，而是大数据。有业务数据、用户原创数据、传感器感知数据；从数据表现形式看，有文字、图片、音频、视频、链接等；从犯罪案件构成角度看，有人及其关系、行为、物、时间、空间和主观意图数据。第三，大数据技术能从海量的数据中对犯罪信息进行提取、分析研判以及预测未来。,大数据与侦查模式变革,大数据时代,三、大数据驱动的侦查模式的理念变革数据主导侦查的理念至少包括以下三个方面的内容：首先，有关犯罪的一切现象皆可数据化。凡事皆可量化，皆可数据化不仅与犯罪相关的有形之物如时间、空间、人的特征(生物识别特征、行为习惯等)、行为、手段、物等可以量化和数据化，那些与犯罪相关的无形之物如人的价值观念、态度、情绪等等也可以量化和数据化。其次，大数据是侦查的基础资源，是侦查的工具箱。侦查就是对数据开矿式的挖掘和分析，侦查能否成功某种程度上取决于对大数据资源的提取、分析能力；运用大数据各种分析技术，可以获得我们所需要的犯罪信息。最后，在大数据时代，数据居于侦查过程的核心地位，支配着侦查的运行。犯罪现场重建、侦查决策、侦查途径的选择、侦查分析、数据摸排、侦查预测等等无不围绕数据运行。通过相关关系，可以预测犯罪。大数据的核心价值是预测。通过收集具有相关关系的数据，建立大数据模型，我们可以从微观上预测什么时间、什么地点、什么人、什么类型等等的犯罪容易发生，也可以从宏观上预测犯罪趋势，这为我们防范和打击犯罪提供了更好的机会。,大数据与侦查模式变革,大数据时代,四、大数据驱动的侦查模式的特点与传统侦查模式和业务信息主导的侦查模式相比，大数据驱动的侦查模式有如下特点：一体性侦查。侦查活动中以数据共享为机制，将分散的、不同层级的、不同区域的主体及其行为有机组织起来，形成一个整体的侦查模式。全景式侦查。采用海量的数据，甚至是相关的所有数据，对侦查案件进行全方位、多角度扫描、分析的侦查模式。大数据将改变过去的点线式侦查，是从面到点式侦查，即从时间、空间、人、物、案、事件等全景式数据比对碰撞和分析，实现向数据要线索，从而锁定犯罪嫌疑人。预测型侦查。侦查行为从回溯型侦查转向了主动型侦查。主动型侦查将侦查行为介入时间大大向前推进，甚至是侦查行为与犯罪行为时间同步，即侦查行为不仅指向已经发生的犯罪，还指向正在进行的犯罪。根据预测，我们可以制订计划，优化警力配置，采取行动。这样，对于犯罪侦查来说，过去的“犯罪发生再反应”模式或将被改变为“预测行动”模式。算法侦查。传统侦查模式主要依靠侦查员的人力、经验以及运气；业务信息主导的侦查模式是通过信息查询提高了侦查效率；而大数据驱动侦查模式的核心是数据运算，算法有汇总、分类、回归、聚类等等，而云计算是大数据最基本的支撑。,大数据与侦查模式变革,大数据时代,五、大数据驱动的侦查模式运行机制大数据驱动的侦查模式运行机制主要有三个相互关联机制组成，即犯罪监控机制、犯罪侦破机制、犯罪预测机制。犯罪监控机制。监控(surveillance)的本意是密切注视、观察或监视所要监控的对象，包括人、事、物、场所等。在传统社会，监控是靠人的感官来完成的；而在现代社会中，监控依赖于各种各样的数据记录、存储设备以及分析、提取技术，是一种数据监视。大数据监视是一种“全景敞式监视”犯罪侦破机制。犯罪侦破机制是指案件发生后，侦查机关为达到侦查破案的目的所采用的手段、方式和过程。大数据时代的犯罪侦破机制大体分为四个阶段：数据准备-数据集成-数据挖掘-确定目标和验证阶段。预测机制。研究证明，人类的行为93是可以预测的，成为“已发生的未来”。犯罪预测机制是通过大数据和“幂律分布”分析，较为准确预报犯罪类型、犯罪时间、犯罪场所、犯罪趋势的手段、方式和过程。我们认为，大数据仅仅是一种技术，再高端的技术也离不开人的驾驭。大数据不能排除人的经验、直觉在其中的作用。大数据驱动的侦查模式，是对传统侦查模式的超越，但其有效模式应是大数据、侦查直觉、经验的完美结合。,公安行业数据现状,当前在众多调查组织（例如警务、安全、情报等相关部门）被广泛采用的仍然是人工分析的手段，这种人工分析的方法针对目前信息处理的现状，面临很大的挑战,针对当前数据分析的现状提出了全新的可视化分析调查的概念，其不同于传统数据分析方法之处在于，软件首先将大量的存在于组织内的各类数据以图形（Chart）的方式展现出来，通过图形的方式对数据和数据间的关联进行描述和展现，更进一步地，运用众多图形分析的方法（关联分析、网络分析、路径分析、时间序列分析、空间分析等）来发现和揭示数据中隐含的公共要素和关联。,目前情报工作的弊端,现状分析,产品介绍,总体设计,总结,总体设计,大数据可视化情报侦查系统 提纲,系统总体设计目标,提供一系列符合业务需求、功能丰富强大、使用方便快捷的情报信息分析处理、综合研判应用的工具和手段，为各级公安机关和各警种、各部门在侦查破案、反恐处突、重点人员管控、预警防范、领导决策等方面提供多方位、深层次、预替性的多种形式的情报信息支持。,系统总体设计思路,主要应用领域： 情报分析 大宗犯罪分析 金融欺诈 毒品相关犯罪 反恐 / 国土安全 特大事件 商业损失侦测 主要客户范围: 警务、安全和情报 政府 银行,系统总体设计思路,借鉴i2技术的大数据可视化侦查系统,实战中解决的问题串并案分析，通过各种关联关系进行串并航班同机、同日、多目的地关联分析，查找嫌疑人及同伙旅业同住关系分析，通过酒店与入住关系查找同住人轨迹分析，通过航班、旅业、基站、QQ号IP地址等寻找轨迹短信诈骗分析，通过电话及帐号关系进行串并案盗车案件分析，通过基站地点、话单时序发现上下游团伙话单关系分析（发现团伙），话单时序分析（时间间隔及方向发现同伙）对于经常更换SIM卡及手机的团伙分析（基站及话单时序及关系分析）洗钱分析，通过账单的关联关系找出资金流向，通过时序找出洗钱账户类案分析，通过已抓获人员通讯录和话单发现跨团伙未抓获的嫌疑人命案分析，通过对海量话单信息进行比对，快速生成否定库,系统总体设计思路,采用类似Palantir核心架构的大数据可视化侦查系统,Palantir也被称为大数据行业的印钞机，它的客户包括美国国家安全局（NSA）、美国联邦调查局（FBI）、美国中央情报局（CIA）和很多其他的美国反恐和军事机构。,Palantir Gotham平台前端提供了一整套的集成工具，这套工具在语义分析、时间分析、地理空间分析、全文分析方面均做了优化。用户可以将数据对象在不同应用之间拖放以获得流畅、全面的分析经验。,标准数据,标准数据,标准数据,数图转换引擎,关系抽取引擎,Neo4j数据库（主要存储强关系）,语义模型库,用户权限库,关系图谱分析,地图,数据检索,对象资源分析,多维数据检索,实体信息查询,查看历史版本,工具（实体合并/拆,关系、属性扩展,实体/连接CRUD,时间轴筛选图谱,检测实体关系是否有更新,数据检索,活动热力图,出行轨迹,人群分布图,数据检索,活动规律分析(时间轮),团体影响力分析,团体特征值分析,全文检索,分类检索（语义大类）,终端UI交互,数据传输规范（JSON）,数据处理分析服务层（深度搜索，广度搜索，数据查询，聚集）,版本数据库库,多源数据,数据标准模型引擎（形成统一标准的数据模型）,动态数据集,动态数据集,动态数据集,实体关系检索通道实体信息查询通道,管理工具,权限管理,语义模型管理,标签库管理,总体架构,关系特征检索（节点关系模式,结构化数据,文本数据,语音数据,视频图像数据,聚类分析、SNA,功能架构,情 报 大 数 据,情报分析云搜索平台,大数据可视化侦查系统,一体化情报分析展现平台,模型驱动的大数据可视化侦查系统,大数据可视化侦查系统,可视化搜索,搜“其他”,大数据可视化侦查系统,可视化分析,PGIS分析,模型控制,搜“航班”,搜“住宿”,搜“人”,其他工具,动态实体,各类选择,各类查询,时空分析,热力图,流动轨迹,其他,模型编辑,模型新增,情报分析,关键词提取,情感分析,文本分类,实体抽取,各类分析,各类布局,摘要提取,词频统计,现状分析,产品介绍,总体设计,总结,产品介绍,大数据可视化情报侦查系统 提纲,大数据可视化情报侦查系统,大数据可视化情报侦查系统,大数据可视化情报侦查系统,大数据可视化情报侦查系统,某时间范围内重点监控人员流动轨迹,大数据可视化情报侦查系统,模型管理功能,大数据可视化情报侦查系统,情报文本分析功能,建立模型,大数据可视化情报侦查系统流程,数据加载,比对分析,关联关系,结果输出,情报研判,确立战法,（模型实例）,（布局）,实体,关系,属性,信息有限，查同籍人员（6101），西安,大数据可视化侦查系统应用1,涉疆人员来浙暂住人口与上海境外住宿人员的关系涉疆上海境外旅客住宿登记信息2011-01-16 - 副本.xls涉疆涉疆人员来浙暂住人口信息2011-01-16 - 副本.xls1、分别做2次批量查询（证件号码），建2个组2、选择航班，做关联查询，将结果再建为一个新组3、提取结果,大数据可视化侦查系统应用2,涉疆人员中间人境外人员,大数据可视化侦查系统应用3,信息有限，通过办案已知人员XXX，乘坐航班XXX，查同航班人员并做筛选,有2个新疆人，2009年10月，曾经从广州飞到宁波，然后飞回广州了。请协查。,高级搜索，输入：65*,输出：4组（8人）,大数据可视化侦查系统应用4,同样，将条件稍微变一下：有2个新疆人，2009年10月，曾经从广州飞到杭州，然后飞回广州了。结果如下：,大数据可视化侦查系统应用5,查：6501*男与1101*女在杭州同住宿（发现：129人，共36组）,大数据可视化侦查系统应用6,大数据可视化侦查系统,DEMO,公安部发布A级通缉令通缉十名特大电信网络诈骗犯罪在逃人员,央视2016年4月10日消息，公安部发出A级通缉令，公开通缉十名特大电信网络诈骗犯罪在逃人员。这十名在逃人员是：赵建国,廖辉才,文龙坚,廖乃建,肖日初,吴春燕,谭敦辉,吴木星,王文龙,林永锋。公安机关希望社会各界和广大人民群众提供有关线索，同时检举、揭发电信网络诈骗等违法犯罪活动。发现有关情况，请及时拨打110报警。对提供线索的举报人以及检举、揭发有功人员，公安机关将给予奖励。通缉令(A级)赵建国、廖辉才、文龙坚、廖乃建、肖日初吴春燕、谭敦辉、吴木星、王文龙、林永锋,数据前提条件：有这10人的航班及住宿数据。问题：假设10人中（只知道名字，不知道身份证号码），其中有2人为同伙作案，如何将这2人挖掘出来？,公安部发布A级通缉令通缉十名特大电信网络诈骗犯罪在逃人员,分析思路：一、这10人中是否有同航班或同住宿行为？二、如果没有，是否有广义同行的行为（同日同航线）分析步骤：1、检索所有10人（包含同姓名）的出行数据（航班及住宿）2、将结果分组3、采用动态实体分析法，选用参数：始发站+到达站+航班日期4、去除未有关联组的动态实体节点，只剩下跨接已关联组的节点5、将这些跨接节点及所有连接成员，复制并粘贴到新场景。得到以下图谱：,挖掘出：组1：赵建国+王文龙,以及：组2：赵建国+王文龙,人工研判：确定最终结果,现状分析,产品介绍,总体设计,总结,总结,大数据可视化情报侦查系统 提纲,大数据可视化情报侦查系统亮点,大数据可视化情报侦查系统具有自主知识产权,在静态模型的基础上增加动态实体,大数据可视化情报侦查系统亮点,专用实体,在通用实体的基础上根据各单位各警种的不同，提供专用实体,大数据可视化情报侦查系统后续,一、非结构化情报信息智能分析与可视化分析：自动分词实体、属性自动识别与提取实体关系分析舆情分析文本倾向性分析,二、基于沙箱的权限控制根据各警种、各单位使用人员进行权限划分,谢谢大家！,Q&A,