2018年末之际-展望新的一年2019

一年时间很快就过去了,这三年个人从业务系统研发领域转到了云化平台的研发域。这几年大型的企业都在构建云化技术平台体系,本质上为了支撑业务的更快速、高效的上线,同时也利用分布式技术扩大在线业务的吞吐量支持。(这几年可以见到,本土的市场好的产品和服务已经能很轻易的就放大过去好多年才能培育的在线交易市场)

16年加入平台域以来,参与了企业级PaaS平台的构建,这三年经历了很多技术平台化应用的场景,采用开源+自研模式和小伙伴们也一起踩过很多的坑。

2019年就要来了,这一年里面,给自己在技术研究上确定几个需要一步步攻克的目标:

1.中间件云化研究实现

众多的我们称之为中间件的技术组件随着开源的开放,在企业中逐步替代相关商用软件在这几年迅速的扩大的各个行业。这些中间件包括缓存、数据访问、rpc、消息中间件等,并且这些中间件在分布式化的今天,他们不仅仅支撑着业务系统全面分层分布式化,同时自身也具备高可用、高并发负载等能力。

从整合开源中间件+自研中间件平台化开始,为了让业务不用在众多的开源选择或者升级中关注中间件提供能力的使用接口,我们在这些中间件或者自己研发的中间件提供的SDK上,控制台上进行了统一的封装适配,面向业务系统提供统一的使用接口平面。

新的一年,这些中间件基础设施自身如何云化,屏蔽高可用等具体细节,是整个中间件体系需要进一步云化的驱动力。这一年,承载着消息中间件、缓存、数据访问层等中间件云化的演进和研发落地的目标。

2.基础设施研究介入

当你开始参与构建弹性计算平台,就离不开对网络、存储、计算资源的理解和实践落地。尤其在分布式的容器虚拟化平台之上,我们需要重点研究合适的存储、网络、计算资源方面的基础设施组件化的能力。主要在这几个方面:

1)计算资源的调度

2.资源调度利用率研究提升

随着容器化平台的研究和应用落地的深入,面向业务应用层如何做到批量任务、在线服务、大规模分析计算在一个容器化平台上面通过资源调度的能力,面向众多不同的应用实现统一的承载目标,避免资源孤岛的存在。

另外随着AI的一些应用尝试和落地,GPU资源在容器平台实现异构资源的调度已经落地实现,但是多GPU开和显存资源利用率的提升的挑战,也是新的一年急需攻克的目标。

3)存储分布式化的挑战

企业支撑的领域有交易域、大数据分析域、AI等较为特殊的场景域,不同的场景对容器化的平台的存储策略要求都会存在不同。在交易域,我们大多采取数据库方式来作为数据存储的介质,不会太关注分布式存储的能力要求。

在大数据分析域,AI场景域,我们需要重点关注图片、语音、文本等大规模、高并发的分布式存储支撑的能力,MFS、Ceph等都是在存储领域基础设施的研究和落地。

4)网络虚拟化的挑战

随着容器平台为数据中心的能力构建,面向不同的业务域构建不同的SLA的资源层能力,其中网络是核心重要的一环。基于容器平台的Calico、Flannel,甚至基于DPDK用户态的网络能力都会成为网络领域提供虚拟化带宽能力的基础,需要更加深入的研究下去。

记录下年初的技术研究专题目标(当然这中间还有很多的细节需要不断的细化,专题化),来年再来检查这些目标都完成的怎么样了,有多少实践的心得体会能够拿出来分享。

这三年除了在平台技术上有一些认识提升外,也开始稍微正式的介入些技术组团队成员的研发管理工作中去,软件是一个团体协作的工作,尤其是大型的平台或者系统软件,希望在做好技术研究学习的同时,也能在技术研发管理这条路上有一些积累!

望新的一年,顺利!

Search

    Table of Contents