当前位置: 华文世界 > 科技

中国互联网从这里起步,30年后建成了一张「网」和一朵「云」

2024-09-02科技
没有互联网的野外台站能不能实时传输数据?大科学装置产生的大量数据,能不能高效率分发调度?通过指标分析工具也可以开展SDGs评估?这一张「网」和这一朵「云」,对于科研工作者竟然有着如此重要的意义…
出品:格致论道讲坛
以下内容为中国科学院计算机网络信息中心研究员黎建辉 演讲实录:
大家好,我是来自中国科学院计算机网络信息中心的黎建辉。今天我们在这里隆重地庆祝中国全功能接入互联网30周年。
大家知道4月20日这个日子怎么来的吗?要回答这个问题,我想提一个人,这个人是我的同事李俊老师。
▲李俊研究员
3个星期前,我在一次会议上见到他,就跟他说:「李老师,我对您的敬仰如滔滔江水绵绵不绝。」他就嘿嘿地笑,说:「怎么着?你调侃我?」其实真的不是,那是发自内心的感想。
那个时候我正准备写一篇文章,对中国科技网整个30年的历史做一个回顾,因此就查了一些资料,也就知道了4月20日原来是这么回事。
1994年4月19日的晚上,李俊老师在网络室值班。大概晚上10点11点的时候,他突然发现自己能连上国际的网络了,而且可以在网络上看很多东西,他非常兴奋。但很遗憾的是,他把这个消息留到了第二天早上,1994年4月20日,才告诉我们的领导。然后我们就得知,中国互联网全功能接入国际互联网的日期就是1994年4月20日。
我就跟他开玩笑,说你要是早一点说,是不是我们还可以早一天接入国际互联网?
▲在北京友谊宾馆举行中国Internet开通五周年庆典
至于我自己,那就得从这张照片开始讲起。我在1999年的4月1日跨出大学的校门,进入了中国科学院计算机网络信息中心。这张照片拍摄于25年前的4月20日。在那一天,我们在纪念中国互联网开通5周年。
我不知道大家能不能在这张照片里面找到我,我估计有点难度。圈起来的这位小伙看起来还不错是吧?长得也很清秀,满头黑发。现在岁月这把「剃头刀」帮我把头发剃掉了不少。
那个时候我刚刚走出校园,就参加这样一次国际的、高层的、网络的学术研讨会。我听了一些报告,但说实话我真没听懂。我听他们说的词,backbone不知道是什么,现在知道是骨干网,路由router是什么东西?我从来没听说过。但是我也很荣幸,至少我有机会参与进来了。
从那之后的25年来,我从一个互联网的使用者,到成为它的应用开发者,到今天负责整个科技网的建设者,一路走来,跟互联网结下了一生不解的情缘 。
从一张「网」到一朵「云」
作为中国科学院计算机网络信息中心的一分子,我们每天从门口进进出出的时候都会看到这个牌子,内心还是非常骄傲自豪的。
这个牌子就在说,中国的互联网从这里起步 。当时叫「中关村地区教育与科研示范网络」,这个牌子上记录了它整个网络的情况。它有3个主要的结点,其中下面那个大的环是把中国科学院在中关村的这些研究所连在一起,上边还有两个环,一个是北大的,一个是清华的。这3个院校网连在一起形成了一个地区性的骨干网。
当时建设这个网络的目的是共享一些资源,更重要的是要共享当时比较昂贵的、先进的、从国际进口的那些超级计算机,用它们做科学计算和模拟。
这个工程是由国家计委支持、由世界银行贷款的,它本身没有义务去连接国际互联网。但是这个工程的领导者,也就是我们中国科学院的领导和我的老同事们,他们以一种前所未有的远见和魄力坚持建成了一条64K的专线,把它连到了美国,实现了中国全功能与国际互联网的互联 ,让中国成为了国际上第77个接入互联网的国家,这是一种何等的荣耀。
互联以后,在京区的各个科学院研究所很快就可以使用这个网络跟国际上发邮件交流了,享受到了这个便利。但是我们中国科学院一共有100多个研究所,分布在全国十几个不同的城市,他 们也要上网,怎么办呢?
中国科学院就决定,要把这个网络推到全国。于是当时启动了一个工程,叫「中国科学院百所联网」,就是把科学院100多个研究所都连到这个网上来,让大家都能使用互联网。
同时我们发现,其他的科研机构,比方说农科院、林科院等等,他们位于各个地方的科研机构也想上网进行国际交流。于是我们就把这个网络再往外延伸,建立了一张「网」——中国科技网。中国科技网从1996年一直运行到今天,是专门为科研工作者服务的一张网络。
近些年云计算风起云涌,光有网络还不够,科研工作还需要大量的数据存储和分析计算。所以我们在2018年的时候又建立了一朵「云」——中国科技云。从科技网到科技云,这是一个自然的演进 ,在这朵「云」上,大家可以使用中国科技云提供的科研数据计算、存储、管理共享等服务。
野外数据怎么快速传到研究中心?
大家一定会问,我们有了那么多的网络,那么多云平台,为什么你还建一个新的「网」、建一个新的「云」?有什么意义呢?
关于这个问题,我想分享3个方面的故事。
第一个故事关于野外台站联网。什么是野外台站?科研人员要掌握某个区域的气候、生态、环境等情况的时候,需要在那个地方圈一块地出来,放一些装置设施,用来监测数据,甚至还可能有试验田。这些台站大部分都远离城市,基本上都是在无人的荒郊。
我曾经跑遍了科学院上百个这样的台站,发现它们是没有互联网的。科研人员们碰到的最主要的问题是,当地获取的数据能不能快速地、实时地传到数据中心,和全国的科研人员迅速共享和分析。
▲阎保平研究员
要讲这个故事,我想回到大概十五六年前的一个下午。我跟着我的导师阎保平研究员开会时,她突然跟我说了一句:「小黎,走,跟我去青海湖。」周星驰的【大话西游】里面有个场景,唐僧对着他的徒弟说:「走,天竺」。听到导师这句话的我,真有那感觉。于是我拿上一些简单的换洗衣服,就跟着她去了青海湖。
那是我第一次去青海湖,青海湖面积四千多平方公里,有很好的环境资源和生态,是鸟类的天堂。每年春天的时候,鸟从南亚一直飞到青海湖生蛋,孵小鸟,每年秋天再飞走。很多人会去那里观鸟。
我们去那干什么呢?阎老师让我们去为青海湖建一张网,利用信息化设施来监测整个的生态环境。
阎老师花了很多年,带着我们建了这样一张网。这里面有一些地名,蛋岛(又名鸟岛)、海心山、三块石等等,每一个都是青海湖里一个很小的小岛,上面都是鸟。我们要在这些岛上建监控设备,用无线设备把岛上数据传过来,最后通过科技网连到数据中心整理共享。之后还要分发给中国科学院很多不同的研究所做研究。
这样的一个工作我们做了很多年。我们开玩笑说,作为阎老师的学生,我们师兄弟共同的记忆就是青海湖。因为几乎我们每个人都被她指派到青海湖参与过各种各样的工作,现在想起来其实是一种别样的收获。
大家可以看这些照片,架起这些设备现在看起来好像很简单,但在当时真的很不容易。
比如太阳能板。这个岛离岸大概有20公里左右,只有一艘很小很小的小船会去那里。太阳能板做多大的呢?大了运不上去,小了不够用。我们想了很多的办法,通过测试最终才得知这个太阳能板多大合适。
接下来,用什么办法才能克服这20公里的距离,把数据直接传过来呢?有线肯定不合适,成本太高。于是当我们时用了无线网桥的方式。无线网桥相距很远的时候,要对得准效率才能好。
所有的设备在野外日晒雨淋的,你得保证它能正常工作,所以我们得做个黑箱子把它封起来。把这个箱子封起来当然很好,那散热怎么办?太阳晒起来很热,高原辐射很大,所以又要把它打开。那打开后又怎么去防水、防其他的东西呢?我们想了很多的办法来解决这些问题。
大家可能会觉得,我们都是一些硕士博士了,怎么还去做这些事情?但阎老师说,就得从做这些事情开始做学问。
有了这些观测设备,我们就能看得到这些非常罕见的动物行为。你看,这只鸟在咬我们的摄像头。有的在孵蛋,有的在打架,它们像人一样进行各种各样的行为。而我们在任何一个地方都看得到它们。现在很多生态观测都采取了这样的方式。
我们中国科学院有好几百个这样的野外台站。它们分布在各种各样的地方做生态观测、特殊环境观测、植物观测等等,都需要通过这个科技网络做数据传输、设备监控的工作。
2008年在国家的支持下,我们参与了中国下一代互联网的建设。我们专门建了53条专线来把32个台站全部联网,但实际上这还是不够的,后续我们还会下大力气去把整个野外台站的联网做好,让我们能够获得高质量的一手观测数据,为科研服务。
想第一个出成果,也离不开网
第二个故事就是服务于大科学装置。
什么叫大科学装置? 我们做科学研究的时候需要一些大的设备做共享观测,比如贵州的那口「大锅」(FAST),500米口径球面射电望远镜「中国天眼」就是一个典型的代表。还有科考船,我参观过三亚深海所「蛟龙号」的工作,很多人在科考船上做实验。还有做粒子物理研究的对撞机等等。这些都属于大科学装置,会时刻产生大量的科学数据。
怎么来计算分析这些数据呢?这是一个问题。我的故事就从我和「中国天眼」首席科学家李菂研究员在一次会议上的交流说起。
当时他告诉我,他在做多目标巡天,巡天一小时就会产生136TB的数据。这些数据怎么运回到数据中心处理、怎么分发给其他的合作伙伴来协同处理,他觉得是个很大的难题。巧合的是,我也在找一些好的科学应用来让我们的「网」和「云」为它们做服务,以此来验证我们的技术方法是否正确。于是我就跟他说,我来帮你,来试试看有没有办法解决这个问题。
我就组织了一个团队,利用科技网的资源建了一条从贵州到北京怀柔的百吉(100Gbps)网络。百吉是什么概念呢?我们家里用的网络的传输速率基本上是千兆级别,这中间差了至少2个数量级。这样的一条网络能每天支持传输PB级数据,能够实现多中心分发。
高速公路修好了8车道,8个车道就都可以使用了。但网络不是这样的,在长距离、大带宽传输的时候,很难把网络的带宽利用好。因此在测试的时候,我们能用到50%-60%,大概是50-60Gbps就很不错了,再快就跑不起来了。
当时我们用了很多技术手段,压缩数据、优化协议等等,终于让这条网络能够跑到90多Gbps的带宽。数据到了北京以后我们再做分析处理,分发给其他的合作伙伴。
即使这样,光有一条带宽也不能解决大装置里面的数据传输效率的问题 ,因为它的整个处理是一个非常复杂的过程,大概有3个阶段。
▲提出云化「算力工厂」的新科研模式
首先,它获得原始数据后,要对不同时段的关键数据开展融合、分析、去噪、规划等预处理。这个时候需要一些云计算的能力,用一些服务器来算。算完以后,要放到一个超算环境里面用科学软件做科学发现,也就是在一个大的高性能计算分析车间再算。算完以后有结果,再对结果做一些分析,甚至还会用到一些AI。这3个阶段就像一条流水线。
我们如何让这么大规模的数据和算力网络协同起来,像流水线一样工作呢?我们团队提出了一个叫算力工厂的方式。我们开发了一套中间件的软件scalebox,它能够使底层数据、资源调度、数据传输像流水一样快速地转起来,使得数据处理的速度能提高一个数量级。
2022年我们支持了「中国天眼」首次发现重复快速射电暴,这是全人类的首次发现,入选了中国十大科技进展。
研究结果发表在【自然】(Nature)上,文章里还致谢了「中国科技云」。2024年,他们又发现了新的快速射电暴,这个成果也发表了,我们团队的成员被列为共同作者。
▲中国科学院重大科技基础设施分布图2023年
这样的大装置还有很多很多,包括在建的和在运行的中国目前有77个。中国科学院大概有25个在运行,有13个在建。它们都需要这样的科研网络和「科技云」来支持它们做数据传输和分析计算,快速地产出科研成果。
科学的成果比得就是一个快。你今天出来发表了,可能就是全世界第一;明天再出来如果是第二个,就没有意义了。可见网络的能力对科研的作用有多大。
用网络支撑可持续发展
第三个故事是我亲身参与的一件事,就是服务联合国的可持续发展目标(Sustainable Development Goals,SDGs)。2015年,联合国的193个成员国在纽约的可持续发展大会上一致通过了多个可持续发展目标。
未来到2030年,我们要实现全人类的可持续发展的17个发展目标,比如消除贫困、零饥饿等等,具体包括教育、环境、生物等多个方面。每一个目标下面又有一些具体的目标和指标,共有169个具体目标,230多项指标。这些指标是需要量化地进行评估和监测的,这样才能知道它能不能实现、什么时候实现。
但是做这件事需要的是数据和方法,还有我们的平台。在2017年,当时提出来的指标中有60%基本上是没有数据的,其中38%的指标没有评估方法,全人类都不知道要用什么方法和数据来评估这些指标。
▲郭华东院士
我们科学院在2018年启动了地球大数据科学工程的先导专项。专项的首席郭华东院士在2019年提出,我们能不能用地球大数据的方法用我们的能力来为SDGs指标的评估提供一个新的解决方案呢?
▲构建地球大数据科学平台
为此我们做了四五年这样的工作,我也有幸参与了全程。我们利用网络和基础设施构建了一个新的平台。
这样一个科学的地球大数据平台能通过科技网把全科学院的20多家研究所高速地连起来,让数据快速汇聚到我们在怀柔的一个大的融合性基础设施上。在这个基础设施上面,我们研发了数据管理系统、计算分析系统,还包括可视化的应用系统。
更重要的是,我们做了各种能对这个指标直接进行计算的工具,这就改变了我们做评估、做研究的方式。如果沿用传统的方式,我们这个平台上有19.5PB的数据要下载,按现在的网络速度30天都下载不完,也没地方存。现在只需要通过笔记本连上这个平台,在这个平台上写代码,调用我们的算法分析数据,甚至直接用我们做好的指标分析工具来分析评估就可以了。
比如其中,我们做了一个针对撒哈拉沙漠以南「绿色长城」的工具,正在非洲进行推广应用。
这个平台的性能非常好。举个例子,要对1800-2100年这300年间全中国区生态系统的固碳情况进行评估,把中国960万平方公里的土地划成10公里乘10公里的网格,然后按天做计算模拟。
研究人员说,如果是他们自己弄,按他们的平台环境一个月也算不出来。在我们这里优化以后,在平台上一天就可以做一次这样的计算。可以想一想,不同平台的速度是多么不一样,对科学研究的作用是多么不一样。
▲全球土地退化与恢复(2000-2018)
我们也支持郭华东院士的团队开展SDGs评估,获得了非常好的成果。上面是郭院士团队对全球土地退化和恢复做的评估,得出的结论被时任国务委员的王毅在联合国大会上直接引用:「我们统筹山水林田湖草沙系统治理,为全球贡献了1/5的土地净恢复面积。」
从2019年到2023年,我们一直在支持郭院士的团队编撰【地球大数据支撑可持续发展报告】,这个报告连续5年都由中方发布。外交部评价说,这项工作为国际社会填补了数据和方法论的空白。
在这个过程中,我也迎来了我人生的高光时刻。
2023年的春节,我在家接到电话,郭华东老师说要开视频会议。我就进入视频会议,得知有联合国的官员要访问可持续发展大数据国际研究中心,我是这个中心的副主任。
开完会以后,接下来的三天我就一直待在屋子里面准备,筹划如何把我们的系统演示出来。到了2023年2月2日,第77届联大主席克勒希访问可持续发展大数据国际研究中心。我给他做了系统的演示,展示了我们的数据和平台是怎么基于网络支持SDGs指标评估,为可持续发展做贡献、为发展中国家做贡献的。
当时讲完了以后,我问他,你有什么问题吗?他看了看郭华东老师说,真的可以提问吗?于是他就真的跟我探讨了3个问题。克勒希在结束了对中心的参访后说:「这是我见过的最先进的信息技术,看到了令人震撼的成果,找到了志同道合的朋友,当年的梦想变成了现实。 」那是我工作这25年来印象最深刻的一天。
更高速、更高效的未来
我们的网络天然就是一个全球互联的网络。
现在,我们的中国科技网跟欧洲的、美国的乃至全世界所有的科技网络进行高速互联,来支持无论是在新的能源、粒子物理还是在天文等方面的国际合作。
未来的3-5年,我们将会在现有的基础上重新构建一张新的科研网络,按照国家的科技创新大布局继续发展。我们有4个枢纽,北京、上海、广州和成都,还有8个区域中心。
这个网络基本是传输速率百吉以上的高速网络,还跟国际网络高速互联,可以用来支持实现我们所说的所有科研要素。大装置、野外台站、数据中心、算力中心和我们的实验室科研人员全部互联,构建一个数字化的环境,来为数字化网络时代的科技创新做出实实在在的贡献。
那谁来做这件事情?是照片中的我们,或者说是他们。这是昨天下午我们团队为了今天的演讲专门拍的合照。可以看出来,像我这样的70后不多了,更多的是80后、90后甚至是00后。
未来在他们身上,责任也在他们肩上。我希望他们能不辜负历史给予的责任。
谢谢大家!
「格致论道」,原称「SELF格致论道」,致力于非凡思想的跨界传播,旨在以「格物致知」的精神探讨科技、教育、生活、未来的发展,由中国科学院计算机网络信息中心和中国科学院网络安全与信息化办公室主办,中国科普博览(中国科学院科普云平台)提供技术支持。