何时不再“上天入地”?
一走进华菱湘钢的厂房,灼热的粉尘扑面而来,四周充斥着刺鼻的铁锈味。
“那就是我们天车作业员的工作室。”顺着客户手指的方向望去,我看到了一个透明的天车操作室,离地20多米高。
客户介绍说,这个不到2平方米的操作室就是天车作业员的“战场”,里面布满了显示屏和操作按钮。作业员每天都要工作8小时,操控控制器,待主钩下到合适高度时,压钩、确认、起升、试制动、起吊……完成渣罐的倒运、废钢槽吊运等高难度的工作。“一天下来,白口罩都变成黑口罩!”
艰苦的工作环境和有限的自动化水平,是包括华菱湘钢在内的所有钢铁企业的痛点。作为国内领先的钢铁企业,客户有很强的技术敏感性,希望把自己打造成真正意义上的“智慧工厂”,通过5G实现技术升级,启用远程操控、无人天车、高清视频等5G应用,提升作业效率,改善员工的工作环境。
2019年9月,华为和客户尝试做过一次“5G+远程天车”的演示:工程师不需要爬上20米高的天车操控室,只要坐在舒适的空调房内,就可以远程控制磁盘,将废钢区内的废钢吸起,运送到指定区域,进行废钢煤炉重造。虽然只是个试点,这却为所有人打开了无限的想象空间:如果能5平方公里的厂区范围内全面覆盖5G网络,让所有的天车变“聪明”,让机器自主安全运行,就能把工人从危险、繁重的工作中解放出来,大大提升作业的安全性和效率。
2020年2月,我们作为精品网的专家来到湖南湘潭,希望和一线一起,帮助客户进一步孵化商业解决方案,把这个实验局方案变成可批量商用方案。
寻找带宽问题“治疗方案”
作为华菱湘钢的“明星厂”,五米宽厚板厂是华为和客户的首个合作项目。
前期为了实验,华为项目组在室内搭建了一个5G基站,把一个加料天车接入了5G网络,实现了远程操作。加料是炼钢的第一个环节,即向电炉或转炉内加入铁水或废钢等原材料的操作,而后还要通过造渣、出渣、熔池搅拌、电炉底吹等过程,在转炉中完成炼钢过程,并轧制成各种钢材的钢。
但是一看到我们,天车作业员就连连抱怨:“有了这个远程天车,不用爬上爬下是好,但屏幕经常花屏,看得头晕。”“天车反应不够灵敏,老是一卡一卡的。”他们一针见血地指出了“智慧天车”实现的两大难题,一是带宽,二是时延。
众所周知,5G以大带宽为优势,相比4G,5G的空口大带宽能力有数量级的提升,但华菱湘钢的无线环境、金属结构复杂,波束极难控制,同时超近基站和终端间距带来的干扰增加,使5G的大带宽优势难以发挥。如何在这样的严苛场景下,保证5G的优势,是摆在我们面前的第一个难题。
在一切未知的情况下,我们必须要给厂区做一次全面的“体检”,即测试各种网络性能指标,摸清楚天车接入5G网络后的问题,找到“疾病”的症结,给出一套可复制的“治疗方案”。
第一次上车测试的场景历历在目。我沿着一人宽的楼梯爬了十来分钟,终于到达了吊运废钢的天车顶端。天车离地20多米,还在缓缓移动。站在天车上,我的双腿有些发软,为了保持平衡,努力地用脚趾抓地。从高空望去,大小不一的废钢、废铁正横七竖八地躺在料仓里,等着天车将它们运送到不远处的锅炉里加热成铁水。远处的钢水带着的炽热火焰,红得发光,看起来着实有些吓人。
我给自己壮了壮胆,从背包里拿出测试仪开始工作:站着、坐着、趴着,反复测量天车每个点的信号电平怎么样?流量怎么样?是不是有丢包?邻区干扰影响有多大?兄弟们就在5G基站旁或中控室内调整基站、天线的各种参数。每一次调整后,要在天车的不同位置进行验证,不断重复这个过程。
为了提升网络性能,我们建议在废钢车间部署3个AAU,在这个基础上进行性能测试调优。在充分的场景测试验证和调优后,最终每个站点的上行速率能力从原来的100Mbps调高到200Mbps左右。
但是由于摄像头数量多,且每分每秒都在传输海量的视频数据,对于带宽来说依然是巨大的挑战。摄像头不够清晰,会出现花屏,看不清楚,影响操作员操控天车。但如何规划站点才能匹配天车对视频的需求,是摆在我们面前的另一个难题。
怎么办?碰运气可不行,需要针对摄像头和PLC(可编程逻辑控制器)分别做业务建模,用科学的公式来指挥我们的行动。为此,我们对摄像头捕捉的视频进行了深入剖析。
视频是由图像组成的,加上时间轴后“动”起来的。原有的发包机制是每次发送1个I帧和49个P帧。这就像是1个胖子和49个瘦子一起出门,一个个往外走。门的宽度就是带宽。如果只有1个摄像头,比较简单,1个胖子紧跟在瘦子后面走出来就行了,但如果有6个摄像头同时工作,几个胖子就会争论谁先出门,很可能要大打出手。所以,我们要研究门多大最合适?能同时让几个胖子一起出门?CPE的能力决定了门的大小。门不能太大,也不能太小。
在两个月的时间里,我们每天都在工厂的各个角落里测试、调优,通过抓包找到相关因子,得出计算公式,算出到底应该让几个“胖子”同时出门,也就是具体应该制定怎样的发包机制。
对PLC,我们也采取类似的方式进行业务建模。作为控制天车运动的终端设备,PLC每隔X毫秒就会发一个包,问对端操控室的PLC“收到没有”,如果没有反应再重新发一次包。PLC要求每个包必须准确到达另外一端的PLC,而且必须在规定的时间内完成收发,不然天车就会停机。这就像一个特快包裹,如果要在一天之内从北京运送到广州,要求高速公路没有堵塞、没有雨雪天气、运输的车辆没有故障、燃油充足等,我们的目的就是保障交通顺畅,道路没有障碍,车辆能稳定运行。
瓶颈期的灵感一现
通过一系列参数优化和射频调整的举措,网络性能有了很大改善。可是接下来的一周,项目坠入了瓶颈期:无论我们如何调整基站、天线的参数,性能都没有任何的改善。特别是邻区之间的干扰问题一直无法很好地解决。连续好几天,我们每天信心满满地去测,灰头土脸地回来,分析来分析去,没有任何头绪。
“CPE的全向天线太不听话了,真不能换成定向天线?这样一来,邻区干扰就变小了,性能一定有很大提升。”有兄弟问。
“别想了!”另一个兄弟立马给他泼了冷水。受到高温、多粉尘环境的选型限制,这款全向天线是我们唯一的选择。“我们只能优化、控制它,不能换掉他。”
“能不能给全向天线加个罩子,屏蔽干扰信号,改善空口质量?”有人突发奇想。
大家互相对视一眼,觉得这个点子有点意思:“要不,试试看?”
第二天,我们就让人用铁做了一个铁盒子,在合适的地方开了个缺口,希望能够降低对其他终端的上行干扰。
大家抱着期望,把这个加了罩子的天线安上去,一看测试结果,傻了眼:变化几乎没有!邻区信号干扰一如从前,预想中的奇迹并没有发生。“这根本不顶用。”
“会不会是开口位置不对?”有人不信邪。
我们又做了不同开口位置的尝试,结果还是一样绝望。
晚上回到酒店,大家都不太想说话。难道我们的调优工作只能止步于此?但我心里还憋着一股劲儿,再困难的问题也总有解决的方法,有可能是我们没有找到门道。
项目组网优专家咨询了射频专家,觉得铁质材质发射能力过强,波束不易控制,电磁波的能力不易被吸收,达不到覆盖控制的效果。“如果铁盒罩子不行,那就换个电磁效应较弱的材料?比如铝盒行不行?”我继续提出自己的想法。
“那就死马当活马医吧!”大家表示赞同,决定再试一把。
没想到,我们把CPE固定在铝制成的天线罩里,并通过控制天线发射角度,效果一下就显现了——增益提升了10%。这个结果让我们喜出望外。看来,任何解决方案的孵化都需要多一点的天马行空和多很多点的坚持。
为了保证生产的稳定性和可靠性,我们还用微波方案给5G方案做了备份,并摸索出一套完整的解决方案,如什么情况下应该切到备份方案,什么特征下是质量劣化,特征怎么抽象。这些方案都应用到了具体的交付场景中。
还能更快一点吗?
带宽问题的攻克告一段落,时延是我们要攻克的第二个难题。按照理想的设想,天车操作员按了控制杆,天车就要立刻行动,该下降时下降,该左拐时左拐,该右拐时右拐,所见即所得。如果出现过大的延迟,不仅影响作业员的体验,甚至影响操作安全。
但一开始形势并不乐观。传输、处理、采集、还原的时间加起来超过200毫秒,作业员总是能够明显感知到卡顿,体验效果不太好。
由于导致时延的因素众多,测试人员从4人增加到了十几个人,每个人都拿着手机在不同的关键点上测试,希望找到关键的影响因素,并把影响降到最低,这就像拧毛巾一样,能拧出的水分,一滴都不能放过。
首先,我们从传输侧入手。由于核心网建在长沙,厂区的5G网络需要从湘潭到长沙再转回来。虽然传输专家表示,这只有几毫秒的影响,不过为了满足客户“数据不出园区”的要求,项目组决定在厂区内建立接入机房,这样一来,5G网络就不需要去长沙绕一圈,把几毫秒的时间省出来;第二,MEC(移动边缘计算)机房和中控室机房之间原本是通过5G网络连接,但其实两个机房直接用一根光纤即可,不用走5G网络,同样可以达到效果。这样又省出了十几毫秒;第三,在用户体验较好的情况下,我们对摄像头的分辨率也同时做了一些处理。这波操作下来,时延有了一定改善。
这其中最难的是无人库房场景。刚被煅造出来的钢材,温度高达1000度,会由天车拉到工厂的无人库房中。冷却后再根据订单需求被运送到不同的出货口。在这种高温的场景中,工人需要站在几十米开外的地方,像操作遥控汽车一样来操作天车,不仅费时费力,而且异常危险。为此,无人天车的需求应运而生。相比远程操控的天车,无人天车对时延的要求更加苛刻。如果控制不得当,两个天车撞在一起,或者天车和货架撞在一起,而下方刚好有人走过,就可能酿成重大事故。
作为特战队成员,我们的任务就是先去探探路,给出一套可行的解决方案。在测试的过程中,我留意到一个细节。虽然我们选型的CPE耐高温、粉尘,但在这种恶劣环境下工作一段时间,外壳就会覆盖上一层厚厚的铁屑,对网络性能造成极大影响。为此,我们还写了一套维护操作指导,建议工厂的维护人员定期用吹风机吹掉CPE外壳的铁屑,保证设备的正常运行。此外,输出的《湘钢园区用户选点结论及建议》《5G 产品性能测试结果》、《园区干扰抑制方案建议》等一系列“治疗方案”,奠定了5G ToB面向园区覆盖的基础。
后续针对时延问题,项目组专门成立了专题研究小组,集合各领域大牛,经过数月的调优,目前整个厂区的时延已经调整到比较理想的状态。
5G+AR眼镜支持复工
到了4月份,为了完成全年的产量,客户决定在棒材厂增加一条产线,采购的设备早就到位了,但是由于疫情的影响,德国和奥地利的工程师无法来现场安装设备和调试。没有他们的指导,设备根本运转不起来,也无法生产出符合质量要求的钢材。于是客户求助我们:“华为能不能帮我们想想办法?”
为了不影响正常投产进度,我们决定利用已经部署好的5G网络,快速开通一条跨国专线,搭建湘钢现场工程师和国外技术人员之间的高速率和低时延通信网络:现场工程师佩戴AR眼镜,将记录的现场环境视频和第一视角画面,通过5G网络实时推送给位于德国和奥地利的工程师,国外工程师依托AR的实时标注、冻屏标注、音视频通信、桌面共享等技术,远程配合湘钢现场工程师的产线装配工作。
听起来很美好,实现起来困难重重。为了让国外的工程师可以通过调整景深查看设备的细节,我们首先要找到符合要求的可变焦高清摄像头,并分别在厂区的四个角安装一个。
最让人头疼是,怎么能保证湘潭和欧洲两个国家的同步,不仅画面要同步,声音要同步。厂区上了5G速度很快,但是一出国就不行了,从中国到欧洲,走的是海底光缆,网速根本无法支撑这样的场景。怎么办?
“能不能拉一条专线?”有人提议。
“太贵了,不是最优的方案。”立马有人反对。
“先不说价格,在欧洲还需要独立的硬件,也寄不过去,太难部署了!”还有人补充道。
“能不能租用一下已有的专线?”我们立马行动起来,寻找可用资源,没想到真被我们找到了一家。
原本想着,双方系统一对接就没问题了。但真的操作起来,又是问题百出。AR眼镜拍摄的内容,无法传递到服务器上,国外的工程师什么都看不到。大家都很着急,这就像是费了千辛万苦挖出了一条隧道,结果隧道不知道哪儿堵住了,就是过不去。我们只能用排除法来一一排除问题,一点一点地试,把堵塞点找到。欧洲的同事一直在协助测试和验证,最终我们用了三天时间打通了通道。
两周时间,我们解决了从方案设计,到国际SDWAN测试、5G+AR+SDWAN的集成测试。2020年5月11日,通过“5G+AR”,跨越欧亚大陆的3个国家的工程师如临现场一样紧密协作,高效、高质地进行轧钢生产线的装配工作。央视和湖南卫视实时报道了5G AR眼镜远程装备的场景。
未来可期
2020年6月,我们完成解决方案孵化第一阶段的任务后,离开了湘潭。但是,钢炉熊熊燃烧的烈火,废渣车间弥漫的烟尘,似乎还在眼前。
依托华菱湘钢智能制造,5G toB 湘钢园区掀开了华菱湘钢5G技术应用第一幕。5G提供了低至10毫秒的时延,为控制指令下发和指令执行提供“零”延迟体验。同时,更多充满想象的5G应用也正在生根发芽中。
在参与项目过程中,我深深体会到,5G toB落地不能凭空想象,更不能坐而论道,需要智慧,更需要行动。逢山开路,遇水搭桥,紧盯目标,开拓进取,是我们的信念。希望5G能真正应用于千行百业,带来更大的价值。最后用一首词总结这段难忘的奋斗时光。
永遇乐
铮铮铁骨,铿锵玫瑰,沙场点兵。
飒爽英姿,风华正茂,再射天狼星。
山中猛虎,海底蛟龙,敢问谁与争赢!恰此时,嘹歌一响,气冲斗牛飞鹰。
厉兵秣马,剑指昆仑,精尖战场能行!长虹贯日,鹏程万里,振中华威名。
纵有千古,横有八荒,无惧道阻难行!凭谁问:小小斥鴳,焉吓鹏兵!