2.4.1 机器学习
1)TensorFlow:TensorFlow是一个基于数据流编程的符号数学系统,广泛应用于各类机器学习算法的编程实现。它起源于谷歌的神经网络算法库,具备多层级结构,可部署于各类服务器、PC终端和网页,并支持GPU和TPU进行高性能数值计算,被谷歌内部产品开发和各领域科学研究广泛应用。
2)Adaptive Boosting:Boosting,又称增强学习或提升法,是一种将预测精度仅略高于随机猜测的弱学习器提升为高精度强学习器的技术,为学习算法设计提供了新思路和新方法。作为元算法框架,Boosting几乎可应用于所有主流机器学习算法,以进一步提升预测精度,应用广泛且影响深远。
2.4.2 知识图谱
1)Knowledge Graph:本项目利用该技术结合画像分析、知识图谱挖掘技术,通过疫情大数据实时采集、知识关联和融合分析,能够挖掘疫情新闻关系,高效分析人群流动方向和地点,追踪可疑病毒携带者的行动轨迹,及时发现“高危群体”和“超级传播源”,助力防控部门准确识别各阶段的关键节点(如重点防控区域),并生成内容丰富的可视化分析报告,支持跨域跨部门协同疫情防控工作。
2)Neo4j:Neo4j是一款高性能的NoSQL图形数据库,面向网络数据库,将结构化数据存储在网络上而非表中。它是一款嵌入式的、基于磁盘的、具备完全事务特性的Java持久化引擎,也可被视为高性能图引擎,拥有成熟数据库的所有特性。程序员可在面向对象的、灵活的网络结构下工作,同时享受完全事务特性和企业级数据库的所有优势。
2.4.3 自然语言处理
文本情感分析是利用自然语言处理和文本挖掘技术,对带有情感色彩的主观性文本进行分析、处理和抽取的过程。
2.4.4 分布式爬虫
SCARPY是适用于Python的快速、高层次的Web抓取框架,用于抓取站点并从页面中提取结构化的数据。SCARPY广泛应用于数据挖掘、监测和自动化测试,提供多种类型爬虫的基类,如Base-Spider、Sitemap爬虫等。
2.4.5 生态可视化系统
采用基于node.js的前后端分离技术架构,前端技术运行了渐进式框架Vue构建生态。结合Node.js、页面渲染采用Echarts、ArcGIS、CesiumAPI实现海量数据空间可视化。对病例数据进行整合,通过加载不同地图数据源实现不同展示方式,包括点上图、线渲染、面渲染等,实现在一张图上的基本工具操作、热力渲染以及图层分布分析等功能。基础框架采用Vue.js, Vue被设计为可自底向上逐层应用。Vue的核心库专注于视图层,便于与第三方库或现有系统整合。结合node.js启动http服务,前后端分离开发,通过npm包管理处理JS依赖问题。利用Webpack + VUE-loader处理前端资源打包,使用iView基于Vue的前端UI框架,结合ArcGIS API和Cesium JS进行前端可视化渲染展示,并使用babel进行Java代码转换。
2.4.6 后端服务
1)SpringBoot:SpringBoot是一个轻量级的Java开发框架,基于Spring4.0设计,不仅继承了Spring框架的优秀特性,还通过简化配置进一步简化了Spring应用的搭建和开发过程。
2)MyBatis:MyBatis是一个支持定制化SQL、存储过程及高级映射的持久层框架。它允许通过简单的XML或注解配置和原生Map使用,将接口和Java的POJOs(Plain Old Java Objects)映射成数据库中的记录。在本系统中使用MyBatis框架以屏蔽底层数据库差异。
3)ArcSDE:作为服务器端产品,ArcSDE通过建立多级索引和R树检索方式有效减少网络负载,迅速定位查询目标,在多用户并发访问时显著提高访问效率。
4)SQL Server:SQL Server Database是一种高效率、可靠性好的适应高吞吐量的数据库解决方案。SQL Server数据库系统可移植性好、使用方便、功能强大,适用于各类微机环境。
5)GIS Tools for Hadoop:Hadoop是一个适合大数据的分布式存储与计算平台,具有高可靠性、高扩展性、高效性和高容错性等优点。在时空数据运算上,借助GIS Tools For Hadoop框架(由ESRI公司研发的一套API,包括Geometry API、Spatial Framework、Geoprocessing Tools等),可对储存在Hadoop上的空间数据进行处理和分析,使Hadoop具备空间数据处理和分析能力。