网易首页 > 新闻中心 > 新闻 > 正文

香港科技大学屈华民教授十条干货:可视化是大数据最后一公里

2020-07-31 14:37:00 来源: 大众新闻 举报
0
分享到:
T + -

(原标题:香港科技大学屈华民教授十条干货:可视化是大数据最后一公里)

“相隔一年,世界已经巨变,技术变革提前并且加速,与其担忧,不如担当。”马云在2020世界人工智能大会上讲到。

疫情之下,对于愿意思考未来的企业家来说,机会才刚刚开始。新科技将改变未来商业世界版图。

港科大EMBA中英双语课程以云课堂,参观实验室,专题报告,知识转移四部曲的方式开展了「走进科大实验室」系列活动,邀请到首屈一指的科研教授,与大家一起分享世界级的科研成果,一起感受科技的力量,以及其蕴含的巨大商机。

早于18世纪的英国,已采用地图显示流行病者的分布;时至今日,美国总统选举、世界疫情的走势,将可视化大数据的应用显露无遗。根据顶级期刊的论文发表量,香港科技大学VisLab是世界最大的可视化数据研究所之一,位列全球前五名之内,研发成果为顶尖企业Microsoft、IBM、华为、腾讯、博世采用,其领军人屈华民教授,深入浅出地阐述可视化技术的发展,以及应用实例,带大家走进香港科大实验室。

一、什么是数据可视化?

我们从网络、城市、财务、物流、农业、传感器等来源收集大量数据,然后进行提取和整合,筛选出合用的数据,再进行大数据计算与数据挖掘,而可视化就是数据分析的最后一公里路程,用图像形式把有用的数据送到终端用户手里,应用范围包括财务与风险管理、基因农业、智慧城市、网上购物、健康管理等各个领域。而数据有四大特性:数量大;动态高;变化多、形态丰富,如文字、视频、音档等形态;价值悬殊,部分极有具参考价值,部分是完全无用的数据。

二、为什么要将数据可视化?

正因为以上四大特性,而可视化是数据分析最后一公里路程,以图表、图像方式展示,让人们可从复杂海量的数据中,获得新见解、洞察趋势,可见其关键的作用。根据Harvard Business Review的研究,指出全球最大日用品生产商宝洁,已肯定可视化数据有助决策,从根本上升级数据的使用,并规范成为管理的工具之一,提升决策和执行的效益。

美国在2016年公布的「美国人工智能研发战略规划」中,当中战略二是:「开发人工智能与人类协作的有效方法 」,肯定了人工智能和人类的结合,然而人工智能是根据原始的数据进行演算,过程中要让人类读懂数据,可视化数据担当关键的桥梁作用;在技术上,可视化和用户界面需要进一步开发改良,以帮助人们理解大量现代数据集和各种来源的信息。

在2019年六月,全球领先的CRM厂商Salesforce斥资157亿美元收购全球最大的分析平台Tableau。Tableau正是一家交互式数据可视化软件公司,成立于2003年一月,一直专注于商用智能技术的开发和应用,其收购价反映数据可视化的价值 。

三、读图力之开发

既然有视像化之数据,人们也需要掌握一定的读图力,从中理解事情的趋势,甚至藉此作出判断。以新冠肺炎各国发病的走势图为例,整理者将美国、英国、中国及比利时的病例数量按时间线表达,各国的高峰期、平稳期、下降期的走势曲线,比较下发现走势相若,有阅读者领会的到中国控制疫情的能力,也有人从自然发展的曲线作出判断,相信各国的信息都是真实的,反映不同阅读者从中得到的领悟,层次也有高低分别,这跟他们的读图能力有直接的关系。而刚才提及的「美国人工智能研发战略规划」,其中一项战略就是要求大学生掌握可视化数据的读图力,藉以解决问题,同时训练左右脑思维。

最初级的读图能力,适用于普罗大众。现在许多媒体已采用图像来说故事、展示数据,例如 《纽约时报》中文网于2020年中发表的一篇文章:「美国人工智能领域的秘密武器:中国人才」,数字显示,有54%中国学生于美国取得研究院学位,而现在留在美国人工智能领域工作的中国研究院毕业生,刚巧是54%,光是看数字,会令人误会,所有于美国取得研究院学位的中国学生,全数留美工作;但是,因着图像的补充,显示54%于美国工作的中国研究院毕业生中,有若干百分比是来自中国及其他国家的研究院,简单的一张图像,清晰地显示了两者的不同。

至于中级的读图能力,需经过一定培训方可掌握。例如 《彭博新闻》以地图形式整合国内用于土地上的经费,金融新闻会按地区描画出家庭的消费习惯等,内含复杂多元化的数据,要求读者有一定读图力去理解。

高级的读图力,响应由形态众多,如文字、视频、音档等整合分析而成的可视化数据,主要是研究人员处理信息系统,以及向科技企业报告时采用,阅读者有如开车时要手脚并用,相互协调,才能洞悉出事情的脉络发展。

四、数据可视化应用实例──智慧校园

智慧校园是可视化技术的应用实例,发挥向公众展示数据的成效。数年前,港科大工学院入口处装置了大型展示屏,主要通过校园逾四千个Wifi网络热点,按Wifi接入手机、计算机的信息去收集各点的人流数据,藉以估算实时的数字;建基于互联网络,我们已可取得意想不到的应用。例如统计大学图书馆、餐厅饭堂等公共设施的人流,甚至实时按楼层、班房归纳使用量的分布,再透过公众数字展示版显示,师生可按图索骥,决定使用时机,解决尖峰时期的人满之患;数据收集后成为历史数据,我们可配合实时的数据,推测公共车的等候时间,等车人数等,方便师生们计划出行时机。此外,可收集宿生出入宿舍的频率,追踪久未离开房间者的去向,预防意外发生,而当中涉及私隐的问题,须清楚研究。校园展至可视化数据的大型显示屏,可应用至大型商场、产业园区,有助尖峰时期导引人流。

五、数据可视化应用实例──智慧教育

智慧教育是科技产业中,其中一个面对重大变革的范畴。网上有大量的数学习题,小孩子并不享受做练习的过程,可能因为挫折感太大。网上习题的好处是可以不停重复尝试,缺点是反复尝试依然是错误带来的失落感,孩子被惩罚的感觉强烈。过程没有老师指导,在错误的习题时被卡住,非常无助。系统可以善用数据,分析整合用户常犯错误的地方,当孩子进入常犯的一个瓶颈位置时,荧幕可以发出提示,像不少棋手利用围棋人工智能程序AlphaGo学习,每一步棋由AlphaGo发出提示,显示不同步法的成功概率,棋手作出最具胜算的一步;数学习题的提示,根据相同道理,以数据可视化告诉小孩子,不同计算方法的成功率,从而启发孩子作出判断,找到对的答案。历史数据更可统计出孩子运算的轨迹,哪一步骤最多人出错,哪一类提示最受欢迎等,从而减少孩子在计算过程中的挫败感,提升学习兴趣。

另外,系统分析数据后,更可作出个人化的推荐方案,例如喜欢挑战难度的孩子,可选择只有20%成功率的习题,一般或需要鼓励的孩子,可选50%至90%成功率的习题,小孩子可按进度选择不同难度的习题,配合个人的能力表现,发挥才能,正是大数据对教育的威力。

《纽约时报》将2012年称为「MOOC元年」(MOOC-Open Online Course,大规模开放在线课程),是学术界巨变的开始。然而,MOOC的最大缺憾,是难以收集学生的反馈。教学视频浏览量的多寡,并不足够给教学者提供改善的建议,智慧教育透过数据分析,了解浏览者在视频的那一个时间点停顿、快进或回放,按时间轴将数据可视化,教学者便一目了然,知道学生在哪一部分需要更多时间去理解,哪一张简报需要改善,哪些部分可缩短讲学,优化整体教学流程。

六、虚拟现实+可视化的实现

智慧校园和智慧教育分别解释了数据可视化的展示,以及给师生建议洞识的优点;在科大工学院外有一幅历史墙,则把可视化及虚拟现实结合起来。历史墙以传统墙报板的形式,展示出工学院的各个里程碑,由成立至2016年25周年院庆为止,至于2016年后的发展,游人可以用手机扫描墙上的QR-Code,最新的里程发展就会显现在手机或平板计算机上,时间轴不会因此中断,并把真实与虚拟结合起来。

七、数据可视化应用实例──智慧企业

对于传统的生产及物流产业,透明化的数据,对智慧企业大派用场。我们的研究团队,曾跟华为诺亚方舟实验室企业智能团队联合进行研究,成果《PlanningVis: A Visual Analytics Approach to Production Planning in Smart Factories》发表在IEEE VIS 2019上。研究基于企业智能团队研发的智慧排产引擎,通过交互式可视分析的方式,帮助决策者模拟在生产环境发生变化,包括工厂停产、原材料供应延期等情况,分析变化对生产制造产生的影响,从而迅速地对生产计划做出调整。

在2018年9月,台风山竹登陆深圳,分析师通过关闭相应工厂两天来模拟山竹可能造成的影响。对比山竹造成工厂停产的影响,可以看到该工厂停产会导致订单的延迟率上升。通过在其他时间段增加工厂的产能,可以降低订单的延迟率,但由于未能在最优的日期生产;此外,生产成本有所增加,分析师再以图像展示出某些产品受台风山竹影响后的生产情况,在调整生产计划后的生产情况,或在不同计划间的变化。可以看出,原本在生产周期前段停产的部分,通过在其他日期增加生产的方式得到了弥补。因此,通过PlanningVis的what-if分析功能,分析师就可以提前判断出哪些工厂需要提前增加产能来应对山竹的影响,以及这些调整可能会带来的成本变化。

智慧排产引擎,让执行者看到完整的局面,按照模拟的数据分析,根据不同制约条件,如低成本、高稳定性或保证供应量等,人跟机器合作,重新编配恶劣天气下的生产安排,选择最优化的排产方案,减少天灾等事故引致的损失。宏观审视工业4.0,其特点是在整个价值链中,不论是人、设备,还是系统,全都紧密地联接一起;而所有相关信息都实时可用,供应商、制造商和客户之间的讯息透明化;管理人可以根据不同的标准,如成本、资源、客户需求等,不断优化价值链中的组成部件。从历史维度看工业革命,是从织布机发展到信息物理系统,是翻天覆地的变化。

八、数据可视化应用实例──智慧金融

以数据分析不同投资组合的优劣,行之有效,而数据可视化则可配合Barra因子模型(MSCI)再下一城。分析模型根据十个风格因子,包括贝塔、动量、收益率、残差波动率、增长、账面/股价比、杠杆、流动性、非线性规模去演算,而十个因子相互独立,互不关联;因应投资的各个因子,独立显示各投资组合的表现,又或以短期买卖跟长期持有相同的股票,演算经历相同时间后的表现,比对分析,让投资者更清晰地作出选择。

九、可解释人工智能有何重要性?

以人工智能分析大数据,大大增强了大数据的应用性;而可解释人工智能(XAI)是下一个焦点课题。所谓可解释,是其行为或预测可以被人类理解,知道人工智能为何能做出特定决定。曾经有厂商反映,利用人工智能推测产品销情,推荐的方案,根本不知道推算的理由,最终或成功或失败,都无法追究原因,因而没有信心依推荐执行。

人工智能通过深度学习作出判断,例如根据八百万张猫图片为基础,进行分析本整合,最终学懂判别出一只猫;然而,研究者以对抗攻击挑战人工智能的辨别能力,例如在图片加上不同小圆点、颜色等小改动,人类仍可认出是猫,但人工智能就无法判别了。在实际应用上,当人工智能演算出最佳的结果,却无法解释背后的理据,直接影响抉择的公平和安全性,假如人工智能学习了一些带偏见的数据,有机会加强偏见度,作出错误决策;当应用在医诊时,为病人断症得出癌症,却无法提供解释原因,结果能否可信?这些都是人工智能需要解释的原因。

欧盟已定立人工智能相关法例,规定销售任何通过人工智能作决策的产品时,例如贷款、信用卡等,如批核与否由人工智能演算决定,终端用户如要求背后理据,销售一方必须提供合理解释,法例建立透明度权利框架,客户有要求解释的权利,以及对完全自动化决定的质疑权。

善用人工智能,人和机器协同创新,也有好的新创见,曾有研究案例显示,研究人员使用失败实验,在机器学习的辅助下再进行研究,最终发现新材料,人与机器合作始终是最佳的模式。

十、香港科大实验室研发技术已被著名企业采用

过去数年,科大大数据可视分析实验室一直致力研究数据可视化、人机交互、人工智能、大数据、移动增强现实等项目。在可视化领域顶级期刊发表量,是世界排名前二的可视化团队,有62篇TVCG论文;也是亚洲最大的可视化团队,世界上最大的可视化团队之一,当中包括36名成员,其中包括17名博士,曾三次担任IEEE VIS论文联合主席。实验室参与多个重大项目,包括由香港ITF项目,资助金额一千六百万港币的「一个针对电子学习的学习设计,数据分析和可视化的开放性框架」,国家973项目「网络信息空间大数据计算理论」,资助金额达三千万人民币等。

在2019年,我们跟MIT(麻省理工学院),以及浙江大学的研究人员,共同开发了一种交互式工具,首次实现让用户对自动化机器学习(AutoML)系统的工作方式和流程进行查看和控制,提高系统定制化程度,向打开机器学习「黑盒子」的目标迈进了一大步。现时,实验室开发的技术已被Microsoft、IBM、华为、腾讯等著名科技企业采用。

展望将来,可视化技术的商机无限,包括普适的数据可视分析系统,垂直领域的可视分析系统,如智能制造、Fintech之应用;大屏展示系统;媒体及宣传推广采用的数据动画;另配合5G时代来临,VR和VIS(虚拟现实及虚拟现实模拟)需求将大增;最后是电子教育,经过多年耕耘,我相信其真正价值已逐步显现。

关于香港科大EMBA|中英双语课程

香港科技大学自1991年创校以来,在短短二十几年时间里,已跻身世界顶尖大学之列。香港科大商学院是拥有国际地位的著名商学院,研究实力及多项课程在世界排名中均位列前茅,金融时报评选中凯洛格-香港科大EMBA课程连续9次位列全球第一,全球MBA课程连续3年排名全球二十强,泰晤士报全球年轻大学排名中香港科大连续3次位列亚洲第一。

香港科大EMBA中英双语课程为亚洲及大中华地区行政人员、企业家而设,致力于全面提升学员的综合领导管理能力,培养具有创新精神和全球视野的国际化人才。自2002年开办以来,香港科大EMBA中英双语课程将世界最前沿的管理知识和中国管理实践相结合,并融合香港中西合璧的独特文化和管理经验,为亚洲及大中华地区的企业家及高管提供了一个跨越地域和文化界限的终身学习平台。课程将在16个月内,通过9个核心模块、3个进阶提升、4个大洲环球游学模块、3个层面提升领导力等,为学员展现一张完整清晰的学习蓝图。

十余年来,课程吸引亚洲最杰出以及最具影响力的商业领袖和管理精英,EMBA校友网络遍布全球。

netease 本文来源:大众新闻 责任编辑:陈体强_NB6485
分享到:
跟贴0
参与0
发贴
为您推荐
  • 推荐
  • 热点
  • 娱乐
  • 体育
  • 财经
  • 科技
  • 军事
  • 汽车

我国在月球首次实现国旗独立展示!

新闻 五星红旗 月球
|
人民日报
4小时前
9908 跟贴9908

突发!美发布新规,限制中共党员赴美旅行!还威胁禁止中国公司在

新闻 拜登 外交部
|
中国基金报
3小时前
1540 跟贴1540

周庭当庭落下眼泪,美国反华议员卢比奥受不了了?

新闻 卢比奥 周庭
|
环球网
14小时前
4270 跟贴4270

美国《纽约时报》:美发布限制中共党员及家属赴美旅行新规

新闻 党员 美国
|
参考消息
10小时前
27686 跟贴27686

外媒询问“澳总理微信公众号文章被删除”,华春莹回应

新闻 华春莹 文章
|
环球网
12小时前
1950 跟贴1950

28岁女子小区被偷拍“出轨快递小哥”后抑郁 编造者拒赔偿:狮子

新闻 出轨 修车厂
|
红星新闻
13小时前
139997 跟贴139997

广州警方通报巡逻车挂粤A·AAAAA牌:罚款5000元行拘15日

新闻 罗岗 交警
|
红星新闻
7小时前
2657 跟贴2657

河南村支书被举报贪污,其子带刀棍上门殴打举报者,混乱中遭反杀

新闻 举报者 村支书
|
陕西法治网
12小时前
4520 跟贴4520

前妻被带走后落马的他 是省里首个敛财过亿的"老虎"

新闻 海南省委 落马
|
北京青年报
6小时前
36 跟贴36

中共中央政治局常务委员会召开会议 听取脱贫攻坚总结评估汇报 中

新闻 习近平 中共中央
|
央视新闻
6小时前
1361 跟贴1361

华春莹:这就是澳大利亚愤怒的真正原因

新闻 华春莹 澳大利亚
|
观察者网
21小时前
9869 跟贴9869

让中国人离开就安全了?美高官宣称:已有上千中国研究人员离开美

新闻 美国 中国
|
环球网
18小时前
8450 跟贴8450

特朗普发表“可能有史以来最重要讲话”:如果我们对选举欺诈指控

新闻 拜登 唐纳德·特朗普
|
环球网
20小时前
8307 跟贴8307

梁振英@佩洛西:如果有人包围美驻港总领馆被判刑,美国会“震惊

新闻 梁振英 佩洛西
|
环球网
17小时前
2 跟贴2

莫里森推特评论区 被《致莫里森》刷屏了……

新闻 莫里森 致莫里森
|
参考消息
1天前
3052 跟贴3052

沧州教育局核查“班主任索贿”:班主任调离教师岗,校长免职

新闻 班主任 教育局
|
澎湃新闻
10小时前
73240 跟贴73240

美众议院议长妄称黄之锋被判刑很“残酷”,香港律政司驳斥

新闻 黄之锋 特区政府
| 海外网
19小时前
5 跟贴5

向赵立坚道歉的澳籍主播:我为过去24个月里澳大利亚发出的所有反

新闻 澳大利亚 赵立坚
|
环球时报-环球网
23小时前
0 跟贴0

习近平向清华大学经济管理学院顾问委员会2020年会议致辞祝贺委员

新闻 习近平 顾问委员会
|
新华社
5小时前
200 跟贴200

拜登:我阻止了特朗普再当四年总统,是给美国做了好事

新闻 拜登 唐纳德·特朗普
|
环球网
18小时前
2036 跟贴2036

普京要求下周开始大规模新冠疫苗接种:你们不用汇报,直接做

新闻 普京 疫苗接种
|
海客新闻
21小时前
13 跟贴13

学者:澳方"我可以,你不可以"的优越感源自哪里?

新闻 我可以 人权
|
观察者网
20小时前
149 跟贴149

美国海军推进下一代攻击型核潜艇研发,预计2030年完成建造

新闻 核潜艇 潜艇
|
澎湃新闻
1天前
10 跟贴10

蓬佩奥离任前与土耳其外长互相攻讦,美媒:或让拜登处境艰难

新闻 拜登 蓬佩奥
|
澎湃新闻
1天前
0 跟贴0

法国前总统德斯坦死于新冠并发症,享年94岁

新闻 德斯坦 于新冠
|
界面新闻
21小时前
829 跟贴829

英媒:拜登拟任命“亚洲事务主管”,以应对来自中国的挑战

新闻 拜登 白宫
|
环球时报
21小时前
693 跟贴693

美国会报告扬言提升AIT级别,国民党“立委”:将给台湾带来风险

新闻 台湾 中国国民党
|
环球网
21小时前
10 跟贴10

公主对“海王”太痴情,日本皇储都愁瘦了

新闻 日本 亲王
|
环球网微信公众号
1天前
1 跟贴1

瑞典男子遭母亲囚禁长达28年,警方已介入调查

新闻 瑞典 奥尔松
|
环球网
1天前
0 跟贴0

要行动?印官员:印度正考虑在雅鲁藏布江建大坝

新闻 雅鲁藏布江 印度
|
环球网
1天前
333 跟贴333

朝鲜严把平壤防疫防控关,此前防疫措施已上调至“超特级”

新闻 朝鲜 平壤
|
界面新闻
19小时前
133 跟贴133

美媒:美国司法部正调查“贿赂白宫换总统赦免”犯罪计划

新闻 唐纳德·特朗普 白宫
|
环球网
1天前
16 跟贴16

美司法部长称未发现大规模选举舞弊证据,特朗普律师:你们压根没

新闻 唐纳德·特朗普 司法部长
|
界面新闻
1天前
9 跟贴9

港媒:黄之锋认罪今天下午判刑,由囚车押往法院照片曝光

新闻 黄之锋 法院
|
环球网
1天前
0 跟贴0

俄S-500将于明年问世 印媒:萨德、F-35都要过时了

新闻 s-400 萨德
|
环球网
12小时前
92 跟贴92

中东面面观丨伊朗重要人物屡次遇刺意味着什么?战争新形态?

新闻 伊朗 哈马斯
|
央视新闻客户端
1天前
2289 跟贴2289

澳议员嘲讽莫里森搞"狗哨政治":挑起对华争端 企图巩固支持率

新闻 莫里森 工党
| 海外网
2天前
84 跟贴84

美媒:拜登称若伊朗遵守伊核协议 美国将重新加入并取消制裁

新闻 拜登 伊核协议
| 海外网
1天前
13 跟贴13

绿媒又紧盯:12月第二天,解放军军机两度进入台湾西南空域

新闻 解放军 台湾
|
环球网
1天前
5 跟贴5

美疾控中心通过授权 这些人将在疫苗获批后首批接种

新闻 疫苗 接种
|
中国新闻网
1天前
0 跟贴0

网友:有美军背着95步枪修桥!美军从哪搞的中国制式武器?

军武次位面
2020-12-03 20:17:01

中东沙漠突降暴雨洪水成灾,拉尼娜在全球生效?分析:我国应警惕

中国气象爱好者
2020-12-03 20:55:18

双色球122期开奖酿惨案 彩民10296元全打水漂

小婷杂谈
2020-12-03 22:54:43

“漂亮女员工”遭领导潜规则,牺牲身体的代价却换来人财两空……

旅游美少女
2020-11-05 14:36:57

这算小气吗?因旅行没有发生性关系,结束后男子要求女子还房钱

生活直通车
2020-12-03 23:20:50

超跌40%的医药股:业绩大涨超160%,刚刚签订7亿订单

智能理财小助手
2020-12-03 21:46:26

马光远:最终压垮房地产泡沫的是低生育陷阱

正和岛
2020-12-03 09:59:51

真实的八路军,一组彩色照片,目光如炬,杀气腾腾

老班长历史
2020-12-01 20:52:49

疯狂逆转:从0-2到4-2,意甲领头羊绝境逆袭,一条龙破门太精彩

足球狗说
2020-12-04 03:49:34

72小时投降期限已到!军方下令发起总攻:呼吁民众放下手中武器

海峡新资讯
2020-12-03 16:18:27

胡主编私生子的疑问和最终走向分析,两败俱伤的文人世界该清理了

用事实说故事
2020-12-03 12:07:54

玻璃大王曹德旺:中国不能再进行大规模无效的基建投资

无名氏也吖
2020-12-03 10:37:58

长白山机场公安:出租车空地停车被罚认定错误,撤销处罚

澎湃新闻
2020-12-03 22:17:37

贵州山洞发现“真龙化石”,政府上门派人保护,学者:躺了上亿年

一夕清霜
2020-12-03 13:25:47

60岁吕丽萍太不幸 一婚二婚悲剧收场 三婚又遇难题

小司谈热点
2020-12-03 09:04:46

最新数据!9个月,欧盟、美国双边贸易4125亿欧元,中、欧贸易呢

图表视界
2020-12-03 22:52:02

一时之间,2大巨头倒下!25000名员工丢失饭碗?毁灭性的打击

权威科技控
2020-12-03 18:39:31

野兔的发情、交配,乱伦毁三观,有趣的知识来了

生活对你下手了
2020-12-03 20:33:36

令人发指!美国80岁老妇一年内遭前女婿多次强奸并被拍照

环球时报评论
2020-12-03 18:58:11

调查组,连夜成立

滕州新鲜事儿
2020-12-03 19:07:33
2020-12-04 04:40:59
+ 加载更多新闻
×

【TED】普通人的超凡力量

热点新闻

态度原创

网易号

查看全部
阅读下一篇

返回网易首页 返回新闻首页