讲座嘉宾
郭涛
大数据工程师,TIT Lab实验室发起人,目前致力于(时空) 大数据平台研发、(时空)数据挖掘与分析以及机器学习等与微服务Web平台的整合研究。发表论文8篇,其中EI二篇,SSCI一篇,参与编写教材3本。
内容回顾
2018年10月27日19:30,学术无界大讲堂第15期讲座在bilibili直播平台如期举行,此次邀请到的是大数据工程师郭涛老师,讲座主题为“A Free Software for Visually Exploring Urban Trajectories”。
本次讲座由学术无界主办,模型中的小伙伴承办,武汉大学国重GeoScience Café、Turing Institute of Technology ,TIT Lab、自然科学交流平台、学术无界旅游研究分会、学术无界空间计量分会协办。
时空轨迹可视化大数据平台是美国肯特州立大学赵烨教授团队和新泽西理工大学叶信岳教授团队合作开发的,郭老师(叶信岳教授助教)主要从时空大数据轨迹平台(TrajAnalytics) 平台架构、数据结构、平台部署与使用及在部署中存在的问题进行了介绍,对大数据可视化进行探索。
图1 相关网站
时空大数据轨迹平台主要是人、车辆或是具有行为轨迹的一个平台,它主要包括两方面的工作:第一,如何运用轨迹数据,挖掘数据;第二,如何进行可视化表达。郭老师介绍了一些相关网站,用户可以在这些网站中进行软件的下载和学习,利用这个已开发好的平台做相关研究。
平台架构主要包括数据、模式和可视化信息挖掘。在平台部署上,用户可以加入自己的数据进行研究。
图2 平台架构
在使用平台之前需要了解平台的数据类型、数据空间结构和可以做的工作。图4为平台所支持的数据格式,包含5个所需的属性字段,根据研究目的的不同可以加入其它相关的属性字段。图5为数据结构。
图3 数据集
4 数据类型
图5 数据结构
该平台具备一般平台的通用特性功能外,它的创新点在于文本搜索引擎的开发。把数据格式转换化为文本,在文本引擎上进行开发函数。
随后,郭老师对软件安装的相关网址、安装步骤及安装过程中可能遇到的问题及解决办法做了重点介绍。
图6 软件安装的相关网址
安装步骤:
1
下载适应电脑的安装包;
2
根据选项一步步安装;
3
安装成功后,将代码放到www文件夹下;
4
安装PostgreSQL 9.6&10.0;
5
分析数据;
6
登录;
7
设置路径;
8
数据导入,建立数据库。在平台部署好之后,在浏览器中搜索http://localhost/TrajVis/ 进行相关操作。
在部署完之后,对于很多专业性的学者来说,怎样将其迁移到时空大数据平台上,真正地迁移到分布式平台和并行架构上成为了一个研究重点。在未来的工作中,Greenplum、Citus和HAWQ便是很好的选择。
Greenplum是基于MPP框架下的一个分布式数据库,它的部分数据结构与数据模型与Postgre是完全兼容的,可做数据挖掘和学习。
图7 Greenplum数据框架
Citus比起Greenplum比较年轻,也是基于Postgres做的一个数据库扩充。Citus数据库主要针对多个节点、多个数据库查询效果很好,实时数据的分析和研究也是非常强大的。Citus还具有很好的扩张性、具有分布式查询引擎、支持SaaS服务等特征。
图8 Citus数据库
图9 Citus特征
HAWQ平台是基于Greenplum、Postgres的源代码进行改进的,是把Hadoop和HDFS两种数据进行了加工融合。
图10 HAWQ平台架构
图11 结论
郭老师介绍了时空轨迹平台的结构、数据模型、部署安装、创新的工作、对存在问题的解决办法及对未来平台的利用做了介绍。主要有三个方面的创新:一、对轨迹数据做了挖掘和可视化,对城市和人的研究,对轨迹的数据流的研究;二、对空间轨迹数据管理和查询做了一个研究;三、在图论方面,对于一些把计算机里面的图论引进来对于空间数据的挖掘和研究。为了方便大家的学习,郭老师还为大家提供了一些学习资源。
推荐链接
1、叶老师网站及其学习资源:
http://vis.cs.kent.edu
http://vis.cs.kent.edu/guideline/
http://vis.cs.kent.edu/TrajAnalytics/videos.php
2、郭老师网站及其学习资源:
http://www.gt0628.com
http://www.gt0628.com/2018/07/23/neighborvis/
http://www.gt0628.com/2018/07/16/trajvis/
http://47.96.187.61/2018/07/26/problem
更多可访问TrajAnalytics网站:
http://vis.cs.kent.edu/TrajAnalytics/
“学术无界大讲堂”简介
学术无界大讲堂由团队全体成员协力搭建,旨在为广大科研工作者提供一个自主运行、畅意交流的科研学习平台,奉行“干货至上,听有所获”的实用性原则。为了充分发挥平台作用,“学术无界大讲堂”每月定期邀请学术界知名学者、研究人员和优秀博士生在线分享自己擅长研究领域的相关理论、软件实操和学习经验。
目前学术无界大讲堂惠及数万科研人员,已成功举办十五期,讲座内容坚持以科学理论与模型方法并重,内容主要涉及文献检索和下载技巧、平滑转换模型、遥感信息分析、空间统计与计量分析、生态敏感性评价等方面。获得了大家的一致好评,欢迎大家继续关注学术无界大讲堂!
推文期数:2018137
责任编辑:刘炳杰 马丽 杨玉婷 胡青江
素材提供:温雪颖 马庆涛 刘静
推文审核:张天舒 梁龙武 骆丹云
总审核:学术无界顾问团
领取专属 10元无门槛券
私享最新 技术干货