数字化转型参考答案，用技术释放数据价值

转载赞收藏评论

举报 2020-12-25

扫描,分享朋友圈

第二届世界互联网大会上，马云提出：世界正从信息时代进入数据时代。随着数字化转型浪潮席卷全球，企业能够掌控客户数据的广度和深度极大地扩展，数据已经成为企业的基础设施和核心资产，数据技术对开发者的要求也越来越高。

12月19日，诸葛io研发交付VP唐兴才先生受邀到传智汇分享，为大家解读数据技术在数字化转型中发挥的作用。

本次分享直击数字化转型中的数据基石，如何做好数据基础设施建设，能让企业更加轻松地拥抱新技术、新变化，抓住更多的市场机遇，帮助企业数据价值最大化。

唐总在分享中讲到：数字化并不仅仅是拥有数据这么简单，只有将数据与多种技术融合，真正运用到企业的发展之中，才有价值。

众所周知企业在数字化转型中面对三大挑战：

高质量数据如何获取？

缺乏灵活高可用的架构平台？

需要专业的数据运营人才？

唐总讲到无论是技术创新还是模式创新，落地才是硬道理。诸葛io的数据基础设施建设解决方案是围绕数据采集、数据整合治理及智能应用进行，帮助企业实现一个开放、实时和智能的数据中台支撑。

图：诸葛数据平台方案

数据采集

企业在数据采集更多关注面向业务的全端的，多种数据源的采集能力，实现全端数据资产积累，打破数据采集的孤岛现象，同时更注重多种方式满足采集需要，这就需要平台建设初期考虑到数据采集能力。

在数据采集中实时采集、管理、存储、查询、展现数据，高效积累数据资产，赋能业务应用场景，助力企业构建扎实的数据根基，实现数字化经营。

企业需要什么数据取决于数据如何应用。数据采集的重心是把数据价值提供到业务中去，打通业务性的数据，赋能企业去了解用户、进行决策。

在数据采集中，我们需要关注标准和规范如何制定，并选择合适的数据埋点，减少分析原始数据的时间以便集中精力分析业务问题，用数据驱动精益成长。

数据校验

校验的目的是保证数据合规。对埋点数据进行管理，尽早发现不符合规范的数据，隐藏无效数据，加密敏感数据。这样可以用很低的成本，完成数据的采集、清洗、沉淀工作，为企业节省成本，提升数据驱动的效率。

数据治理

数据治理是数据基础建设中非常核心的一块内容，如果没有很好的数据治理，那么做再多的业务和技术投入也可能是徒劳的，因为数据质量没有保证，就没有办法正确的做数据治理后期的应用。

通过数据治理将企业的数据资产进行应用和管理的一套管理机制，能够消除数据的不一致性，建立规范的数据应用标准，提高数据质量，实现数据内外部共享，并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中，发挥数据资产价值。

数据治理的目标是提高数据的质量，包括数据的准确性、及时性、完整性、唯一性、一致性和有效性，确保数据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享，推进数据资源的整合、服务和共享，从而提升企业数字化的水平，充分发挥数据资产作用。

数据治理的四个维度包括数据质量管理、数据共享管理、数据资产管理和数据安全治理，能够建立规范的数据应用标准，提高数据质量，将数据应用于业务、管理、战略决策中，发挥数据资产价值。

数据仓库

数据仓库是数据资产的载体，数据仓库的创建过程中数据建模是最关键的技术环节。一个合理的数据模型决定了数据价值是否足够灵活、存储是否足够、对业务场景能否高效率支撑。

数据开放及数据应用

开放的数据接口，让企业可以打通数据，实现轻松的数据导出，将数据价值运用起来。典型的数据应用包括企业数据湖、数据报表、BI系统、数据大屏、数据看板、场景分析、用户洞察、智能营销等，这些都基于高质量数据来实现。

现场答疑

Q：请问大数据对年龄有什么要求？A：从事大数据行业要求的是程序员对数据的理解，对技术掌握是否到位，能否将业务化和商业价值绑定在一起。对年龄没有太多要求。

Q：大数据是否适合作为转型方向？A：未来，大数据将像水电一样成为基础设施。针对企业而言，每个企业都在讲数据，只是不同企业数据化的快慢不同，企业高层对数据价值的耐心，企业对数据的持续建设不同。这些是企业在做数据化建设中存在不一样的地方。对个人转型而言，大数据行业是比较好的方向。

Q：大数据是否存在泡沫？A：为企业提高效率，产生价值，是大数据比较核心的点。衡量大数据是否存在泡沫，要通过产生的成本和输出的价值能否匹配上来进行判断。

Q：大数据处理过程中数据质量监控如何进行？A：和数据需求绑定，除了看数据是否标准，衡量的点包括数据是不是零散、获取方式是否规范、是否持续、是否有未来价值点，能为业务赋能。

Q：小型公司涉及到大数据多吗？A：每个公司都多多少少涉及到大数据，小公司多数会使用一些产品进行数据处理，而大公司会建立自己的平台。

Q：业务上有大量数据拖慢速度，后期如何治理？A：通过搭建体系架构，对业务数据进行二次转换。针对查询特别慢这一问题，说明有了数据资产，但分析能力支撑不上。可以检查库、模型是否合理，介质是否合理，在模型上改动或介质上改动。

Q：数据模型设计怎么做？A：涉及到用户和行为相关的较多，举例来说涉及用户体系、行为体系、用户标签体系，使用大宽表存储数据，在性能、存储能力上都能达到标准。

Q：数据保存周期多久为宜？A：一般不会清理，存储资源能够跟上的话长期保留，可以在处理数据时采用分区等手段。

Q：数据处理采用范式还是维度建模？A：偏维度建模

Q：PHP转大数据好转吗？A：程序员已经习惯了逻辑思维，只要补充基础的技术能力就可以胜任大数据工作。

分享嘉宾

诸葛io研发交付VP 唐兴才曾就职于瑞星杀毒数据部门，担任大数据工程师，前创新工场37degree技术团队核心成员。参与了诸葛io从0到1的孵化过程，还负责系统架构设计、新产品研发、运维体系建设，实现产品技术领先市场与同行；带领产品技术团队高质量地交付了龙湖、安利、阳光保险、奔驰、中国移动等大客户的数据中台建设项目。

诸葛io 是一家专业领先的数据智能服务商，为企业提供数据采集、数据治理、数据仓库、分析和营销等数据智能服务，产品开放、敏捷、高效，聚焦业务场景灵活扩展，根据业务变化敏捷响应，全面满足大、中、小企业的不同需求，实现全场景规划，小场景启动。基于数据智能赋能商业，助力企业实现数据驱动增长。

传智汇一直积极承担社会责任，将优质的IT学习资源带给更多互联网人。后疫情时代，传智汇将一如既往地联合众多互联网名企嘉宾资源，共同搭建IT技术共享交流的平台，为各界IT精英在技术进阶、求职跳槽、人脉搭建等方面提供有力支持，助力IT人及互联网企业适应时代的颠覆和创新，探索更好的成长之路。

本文系作者授权数英发表，内容为作者独立观点，不代表数英立场。
转载请在文章开头和结尾显眼处标注：作者、出处和链接。不按规范转载侵权必究。