余利华表示,“数据开发相比业务系统开发落后太多,很多时候,数据开发工程师连测试环境,自动化测试工具都没有,直接在线上写代码,手工做测试。这是数据中台项目交付效率低,数据质量差的主要原因之一。网易有数支持DataOps就是为了解决数据中台的研发交付效率问题。” 除了DataOps,过去几年中,湖仓一体(Lakehouse)作为一种新的...
其实,整个网易猛犸平台都是强安全认证系统,每个用户都有自己的kerberos key tabkerbros,所有系统拿kerberoskerbros做认证访问都是带认证的,Kyuubi要融入这个体系同样需要支持kerberoskerbros。 Kyuubi的主要特点如下:一是具备统一接口,与HiveSever2相比,Kyuubi提供SwiftThrift的API,无论是Beeline客户端、JDBC客户端、ODBC客户...
这些产品将以云服务方式提供给网易公司,以及网易云的客户使用。其次,整合网易各大产品数据,梳理网易数据资产,使网易的数据发挥更大价值。 团队在这两个方向已经取的初步成果:形成了以网易猛犸大数据平台和网易有数敏捷BI平台为核心的大数据工具栈;挖掘网易用户画像,并应用在广告、金融风控等领域,取得显著效果。 如何选择...
为了从根本上解决“数据贫困”的问题,网易数帆在数据开发流水线基础之上,提出了数据开发治理一体化的概念,也就是端到端的DataOps实践。从字面意思上就能看出,网易数帆的方式与常规方式不同的点在于,它将数据开发和数据治理完全打通。余利华告诉数据猿,很多企业在做数据中台或搭建数据平台时,数据开发过程和数据治理过程...
余利华在会上分享了在数据开发治理一体化理论下,网易的DataOps特色实践,并介绍了网易数帆在DataOps实践中的经验及总结,为各领域DataOps的应用提供全新思路。 DataOps是一种将软件工程CI/CD的方法融入数据开发的流程,基于自动化的数据测试、任务发布等技术,构建数据发布流水线,使得数据开发效率更高、交付更加频繁,交付质量...
二是小表广播,将小表广播到所有查询服务器上,与大表一起做join,网易在这部分采用的是Kudu Runtime Filter。 我们的做法是为小表join key生成Runtime Filter,这样做的好处在于kudu在扫描底层数据时会拿Runtime Filter去底层过滤数据,这样的结果就是返回Impala层的数据会大大减少。以下图为例,红色是一个的scan操作...
基于1.0阶段的种种痛点,网易数帆发布了有数全链路数据生产力平台2.0。余利华表示,“数据生产力平台2.0阶段,我们提高了自身技术服务能力,从大数据底座、到数据中台、再到数据应用,每个链路都需要更好的打磨才能服务好客户。” 在谈到如何让企业的数据中台发挥价值,余利华认为企业要基于数据中台开发大量的数据产品,真正做到...
基于1.0阶段的种种痛点,网易数帆发布了有数全链路数据生产力平台2.0。余利华表示,“数据生产力平台2.0阶段,我们提高了自身技术服务能力,从大数据底座、到数据中台、再到数据应用,每个链路都需要更好的打磨才能服务好客户。” 在谈到如何让企业的数据中台发挥价值,余利华认为企业要基于数据中台开发大量的数据产品,真正做到...
网易视频云CEO余利华介绍 网易视频云CEO余利华:网易杭州研究院技术总监,网易视频云CEO,网易服务端技术委员会主任委员,2008年获浙江大学计算机专业博士学位,之后加入网易公司研发网易第一代分布式存储系统和分布式数据库系统,并一直专注于后端数据存储处理方向。现负责网易的视频云业务,以及存储、数据库、搜索、大数据等后端基...
余利华,网易数据库和大数据总监,网易视频云CEO,网易服务端技术委员会主任委员,2008年获浙江大学计算机专业博士学位,之后加入网易公司研发网易第一代分布式存储系统和分布式数据库系统,并一直专注于后端数据存储处理方向。现负责网易的视频云业务,以及存储、数据库、搜索、大数据等后端基础平台,平台支撑了网易大部分互联网业务...