本文转自【东方网】；
今天,全球数字化浪潮正在重新塑造社会的生活方式,推动商业模式变革,催生规模性产业洗牌。各行业数字化“黑马”顺势而为,应时而生。这其中,以汽车为代表的高端制造业在全面拥抱数字化的过程中,应用数字化技术,通过优化流程、改善工作方式等手段,提升生产效能,激发原动力;并利用数字化技术带来的全价值链创新应用场景,全面颠覆原有产品生产、交付旅程,探索新的商业模式和价值动能,增加驱动力。
能力建设 科技创新赋能业务增长
8 月10 日,2020 《财富》世界 500 强正式公布,吉利控股集团以 478 亿美元(约 3308 亿元人民币)营收位列第 243 位。
这是吉利控股连续九年位列《财富》世界 500 强,也是其中唯一上榜的中国民营汽车集团。
2019 年,吉利控股旗下各品牌车型累计销量超 217 万辆。连续三年蝉联中国品牌乘用车销量第一;全球销量连续六年创销量新高。
吉利的快速发展,得益于持续不断的科技创新。目前以 5G、物联网、人工智能、大数据为代表的技术革新,驱动汽车 “新四化” 变革。而领先的数字化能力作为基础可以护航车企驶入“新四化”赛道。吉利近年来主动迎接挑战,把握历史机遇,坚持高水平研发创新投入,十年研发超千亿,以研发创新驱动科技转型,持续引领着中国品牌汽车技术变革。
中流砥柱 信息化建设任重而道远
业务高歌猛进的背后是吉利扎实的信息化建设。目前,吉利汽车集团在全国各地建有十多个数据中心,数据日增量已达到数十 TB 规模,如何对海量数据进行统一、高效的收集管理和监控分析,及时发现并快速响应各种日常安全事件,实施全面深入的安全调查是当前面临的主要问题。
传统运维的监控方式,通常以相对封闭的方式来检测已知事件,思路停留在以 IT 视角独立看待中间件、安全、网络等问题,可在实际工作中,只靠人工应对分散海量的告警事件往往会产生故障发现难、定位难、处理时效性差等一系列问题。
早在与七牛云合作之前,吉利便曾尝试基于开源系统自建,但实践下来发现构建和使用成本太高,效率和质量也很难满足实际需求,如大文件日志采集性能,资源消耗等问题需要付出极大的时间精力和资源投入,而如何高效的管理海量数据也是技术攻关的深水区。
作为国内知名的云计算及数据服务提供商,七牛云持续在海量文件存储、CDN内容分发、视频点播、互动直播及大规模异构数据的智能分析与处理等领域的核心技术进行深度投入。从最初的提升客户的IT效能,缩短从想法到产品之间的距离,到今天更进一步致力于提升客户的数据价值效能,七牛云凭借领先的技术创新能力和服务理念获得了吉利的青睐。
简单高效 机器数据分析不畏挑战
七牛云机器数据分析平台( Pandora)能实现数据的全生命周期智能管理,适用于智能运维管理、业务运营分析、安全事态分析、智能网联数据分析等场景,帮助金融、汽车、运营商、智能制造、互联网等行业客户探索数据、挖掘价值、预见未来。
基于吉利汽车集团数据源类型众多、数据量大、数据分散、分析不灵活的痛点和数据统一管理、业务关联分析、提高安全运营能力的需求。七牛云机器数据分析平台( Pandora)遵循可扩展性和高可靠性原则与吉利共同构建了有效解决以上问题的机器数据分析平台。
首先,七牛云机器数据分析平台( Pandora)提供了不同类型的数据对接采集方式,并通过预配置数据模型来实现不同来源类型的数据字段归一化,将机器数据统一在一个平台上,用统一的方式对数据进行互联和分析,有效减少节省了人力、时间和费用成本。
如文件系统、数据库数据等可采用logkit采集器进行对接,数据采集后直接输出到Pandora平台上,而在部分特殊场景例如网络无法直通或者数据流量较大需要缓存的情况下,也支持把采集到的数据先存入本地文件或 kafka ,再将数据消费存入 Pandora 平台中。同时,例如 syslog、HTTP 服务等本身支持数据推送的数据源,则可以直接将数据推送到 Pandora 平台所监听的服务端口,实现数据的直接上报,简单、高效。
按照规划,数据汇总到 Pandora 平台后会先进入热数据节点提供数据查询分析服务,随着时间推移,根据预先设定的规则数据会自动迁移到冷数据节点中做持久化保存,这一针对业务特别优化的冷热分离架构,在保障数据合规安全的同时也极大的提升并优化了资源成本和使用效率。
以上是七牛云对机器数据分析标准语言 SPL 的实践。SPL 支持对原始数据直接处理,并且统一了检索、分析、可视化和告警等需求。引入 SPL 后的 Pandora 具备了更强大的计算能力,内置百余种分析命令快速创建模型自定义搜索,针对典型场景及业务提供开箱即用的分析模板和检测规则。用户在数据采集时无需对多种不同数据源进行梳理和解析,可以直接原始数据进行统一存储归档,入库后再根据不同的需求对数据进行高效灵活的处理和分析,日志数据采集范围的广覆盖为用户带来了极其简便、顺滑的数据接入体验。
而七牛云机器数据分析平台 Pandora 特有的Schema On Read 模式,也能有效提高数据写入速度,降低数据接入成本,实现对数据更高效的聚合和分析,让亿级数据检索所需时间从原来的数分钟缩减到秒级。极大的满足了灵活的业务分析需求、便于开展探索性数据分析。
通过对各类机器数据的汇集、分析和关联,并基于各种场景化的分析用例规则,Pandora 机器数据分析平台可从海量庞杂的原数据中快速分析出更直观、准确的数据处理结果,实现高效的运维监控和安全态势感知。降低各部门的信息获取门槛,提高数据处理效率,最终达成对业务系统、应用系统及生产网络等系统中各类潜在威胁的即时发现和响应处置,最大程度消除来自内外部的风险和威胁,提升整体运维安全质量。
考虑到吉利在全国各地数据中心业务高峰的时间/流量不同的实际情况,在设计上,七牛云Pandora也帮助在各个数据中心的接入方案中预留了数据缓冲区,并做了突发流量控制,可起到数据平稳流动和落地的效用,避免突发网络带宽压力,降本增效。
值得一提的是,七牛云机器数据分析平台还内置了应用商店,通过沉淀领域知识针对行业典型场景提供了开箱即用的解决方案,并且具备极强的开放性,支持外部合作伙伴自主开发应用,生态共建。
目前,合作项目还处在一期阶段,通过 Web 界面,吉利的应用管理员即可以很方便的一站式管理海量数据,实时监控关键指标,及时发现业务异常,使纷繁复杂的数据可视、可感、可知。将复杂业务单元的跨业务故障排查从几天缩短到小时级。合作二期及将来规划中七牛云 Pandora 还能提供回归与分类、异常检测、时序预测、事件聚类等丰富的机器学习算法,提升异常诊断及业务预判能力,维护系统稳定性,降低系统威胁,进一步实现对现代系统中不可预测行为的解释,为决策提供可靠支撑。
数据赋能 吉利七牛携手驱动未来
恰逢百年不遇的时代变局和行业颠覆性变革的大背景,吉利在以“让世界充满吉利”愿景的指引下,不畏严寒,苦练内功,深化变革,以用户为中心,化“危”为“机”,推动中国制造业向价值链中高端挺进,推动制造业向科技型企业转型,参与全球汽车产业格局的重塑。 七牛云也将利用自身技术优势和专业服务,坚守 “持续用数据科技全面驱动数字化未来,赋能各行各业全面进入 DT 时代”的使命,把产业合作实践沉淀下来的技术和经验进行更好的优化应用和反哺赋能。
此次七牛云与吉利的合作实现了对集团海量复杂数据的统一管理和监控分析,作为数据底座,为吉利下一个“千万辆”时代打好基础。面对当前全球经济的诸多不确定性,双方也将与全球伙伴一起战略协同,资源共享,推动产业变革,共创社会价值、商业价值、用户价值,引领中国汽车品牌重构全球汽车产业格局,让用户感受中国制造的品质魅力。