Cloud Storage

unkonw

  • 云原生与微服务

    云原生本质上是一套知道软件架构涉及的思想,建立在"未来的软件一定生长于云"的核心假设之上。

    云原生包括容器化封装、自动化管理、面向微服务、服务网格、声明式API。符合云原生架构的应用程序应该是:采用开源堆栈进行容器化,基于微服务架构提高灵活性和可维护性,借助敏捷方法,DevOps支持持续迭代和运维自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。

    云原生帮助企业将应用和业务"云化",解耦业务和基础设施,只关注业务员逻辑和价值,将非业务逻辑的复杂性下沉到基础设施,使基础设施更高效、更高性能、更稳定可靠,从而充分释放云的价值。

    基于kubermetes的云原生架构技术平台实现企业内各类业务的统一管理

    微服务架构是解决单体复杂度问题的首选方式,却带来整个系统的整体复杂度大幅增加,容器技术和kubemetes分别解决了微服务架构下大量应用的部署,以及容器的管理和调度问题,同时,kubemetes也为service mesh提供了更好的底层支撑,也带来了底层基础设施的serverless云原生化和中间件能力的进一步下沉

    微服务架构本质上是通过承受更高的运维复杂度来换取更好的敏捷性,其优势在于小而冶之,去中心化,但也导致基础架构的需求、成本和复杂性激增。

    微服务架构是一种架构模式/架构风格,将单独的应用程序开发为一套小服务并独立运行在自己的进程中,相互之间使用HTTP API等轻量级机制通信。这些服务围绕着具体业务进行构建,通过完全自动化部署机制来独立部署,并可用不同的编程语言书写,以及不同数据存储技术,并保持最低限度的集中式管理。

  • 上云经验

    某视频平台视频转码业务在华为云云原生高性能解决方案的过程中,实现了极速的弹性能力、海量算力场景下高效的调度能力、跨客户IDC与华为云的混合调度能力、极大提升了业务的上线效率和资源利用率,部署时长由原来的2天下降到30分钟、CPU整体利用率由54%提升到65%,资源扩容速度由5分钟提升到秒级扩容。此外,该方案在互联网、生物制药、医疗、汽车行业,以及多个省级超算中心、科研机构均得到深度使用(技术得到强有力的验证)。

    集群规模超过百万容器,单容器集群节点数量过万,数据库的峰值超过54万笔每秒,对应8700万查询每秒,而实时计算每秒峰值处理消息超过25亿条,消息系统RocketMQ峰值处理了超过每秒1.5亿条消息

    在实现基础设施自助化的前提下,其智能化也成为重要演进方向、通过监控数据、历史数据驱动的智能化基础设施会在未来成为可能

    高负载压力下的电商应用,实现30%的QPS上升,而rt也有明显下降,长尾rt下降尤其明显。云化促进了运维管理的自动化

    存储计算分离即业务逻辑执行在计算集群上面,存储部署在存储集群上面。计算和存储集群之间通过告诉网络连接。随着数据处理对存储需求和计算需求在规模、速度、容量和成本等维度的不断变化,计算和存储分离可以最大限度地解耦并使这两类不同的关键资源相对独立地扩展和演进,获得更好的弹性、资源效率,同时可以让应用更容易的获得分布式存储的可靠性。

    上云过程中,盘古2.0的升级也带来更好的io长尾延迟的稳定性,通过慢盘黑名单、backup read, 动态timeout等关键技术大幅度改进了长尾延迟。

    原有的集团安全域,由现在的集团自建网络为主体逐渐转变为以云上集团的虚拟网络为主体,以VPC的方式实现网络隔离混合云网络:为了实现集团网络与云上VPC内业务单元的互通,采用了云专线产品方案,组成了混合云网络。云专线方案中的虚拟网关(xGW集群),采用硬件化HGW集群。

    一开始就把安全策略、对安全的考量、安全配置作为应用的一部分,而不是在应用交付后再进行事后的安全审计和管理

    • 云化存储计算分离带来应用架构变化