泼墨文学

第339章 奈飞有多牛哔（第2页）

前后端通信用的是graphql；

后台服务使用了zuul、eureka、sprgboot框架技术；

数据库用的是evdra、ckroachdb等数据库；

消息流处理用的是apak；

视频存储用的是s和openek和spark做数据处理，tabeau做可视化、redshift用于结构化数据仓库；

cicd上使用了多种工具，比如jira、fuens、grade、onkey、spnaker、atas等去完成……

这其中，绝大多数可都是奈飞自己搞出来的，而将它们组合在一起，所展现出来的能量，也是足以让人瞠目结舌的。

这，就是奈飞赖以成名，用以搜集影音大数据背后的数据工程技术架构了。

这是一个为了支持全球影音流媒体，而搭建的一个庞大的基础架构。

有专门的团队，负责将上千亿流媒体时长的数据，转换成各种分析洞察，以此决定奈飞怎么去为客户，推荐更合适的视频。

而数亿客户，通过数千种不同类型的设备和软件，产生的事件资讯，更是多达百万种。

所以如何将这些资讯，汇集整理成容易理解的合理形式，以支持各种个性化的应用，以及分析的需求，就是一项很大系统工程。

所以奈飞从oo年，推出线上视频流媒体服务开始，就在打造自己的数据仓库系统，并续研出了许多数据技术和工具，用来支持各种数据工程实务上的需求。

从内容绩效评估、观众理解分析、程序化展战略等各方面，去推动整个数据工程的展。

整个数据工程技术架构的核心原则，其实很简单，那就是要让常见需求更容易进行，而且可以兼顾到不同层级的定制化需求。

但这也就决定了，很多任务和工具，都需要由他们自己去开。

要知道，数据工程技术架构中最典型的两大数据流程，就是批处理和流媒体处理。

这也是企业常见的两种数据流程。

但想要全靠自身去研，那难度可就太高了，但是没有办法，这事儿从外面，还真就找不到现成的，所以也只能靠自力更生了。

而批处理流程有四大关键步骤：

第一步，是数据转换和逻辑汇集处理，这里会涉及到云储存、云计算和大数据

请勿开启浏览器阅读模式，否则将导致章节内容缺失及无法阅读下一章。

清宫：舒妃传  从小兵开始修仙  异世娇宠，种种田生生崽  她是明月与大海  末世重生，种田养娃建基地  贵妻  镇国神婿  遇上霸总被宠上天  太古战魂  在女多男少世界里做完美男神  重生后，摄政王被她撩疯了  脸红心跳  谋嫁三爷  末世病娇养成  修仙：从永恒道法开始  我只想当个技术宅[星际]  巅峰狱少  监狱里的永罚龙  男神嗜妻如命[娱乐圈]  开挂后，我成了最强驭兽师