云原生核心技术与最佳实战.pdf

扫码关注阿里云云原生公众号回复 2023云栖大会 即可下载电子书！Contents目录通过 ACK 智能化运维体系获得集群自动化诊断和自愈能力-5303基于 ACK One 实现简单的跨云协同让业务管理更高效-7904基于 ACK One 和 ACR 构建 CI/CD 流水线最佳实践-112ACK 集群类型选择最佳实践-0701ACK 云原生弹性方案，云原生时代的加速器-310205机密容器探索与AI场景应用-15908云原生场景下，AIGC 模型服务的工程挑战和应对-19009基于容器服务 ACK 与 ACR 构建企业级端到端DevSecOps 流程五分钟微调“漫画风”Stable Diffusion-12706容器计算服务 ACS 快速动手实践-1400710-214Contents目录ACK 云上大规模 Kubernetes 集群高可靠性保障实战-29913ACK 云原生 FinOps 方案助力企业优化阿里云上成本治理14如何为乾象节省月10W+云成本ACK FinOps套件-344两全其美：Sidecarless 与 Sidecar 模式融合的服务网格新形态11智算时代，基于 ACK 落地云原生 AI-2691215容器计算服务 ACS-40518容器服务 ACK 智算时代的现代化应用平台-42819开源混部系统 Koordinator 助力云原生应用性能提升小红书实践经验分享网易游戏机器学习云平台助力 AI 应用落地实践-36816美年大健康基于云原生快速进行业务拓展-3901720-457-240-326Contents目录阿里云消息队列的 Serverless 架构演进-49601畅捷通的 Serverless 探索实践之路-50802函数计算让 AIGC 应用开发更简单-52403极氪大数据 Serverless 应用实践实现企业级商业智能的全新范式04美景触手可及 Rokid 的 Serverless 实践之路-56705杭州铭师堂的云原生演进之路-58606-547All in Serverless 阿里云核心产品全面升级-66509SAE2.0 让容器化应用开发更简单-69410释放算力潜能，加速 AI 应用构建-60707AIGC 浪潮之上森马的 Serverless 实践之旅-63508Contents目录Serverless 引领云上研发新范式-72111Serverless开发平台：让研发效能再提升-75212极简微服务模式消除微服务复杂度的最佳实践-77501铭师堂的云原生演进之路-80902青团社云原生架构实践亿级灵活用工平台的架构实践-83403云原生网关的演进之路-86704云原生中间件重磅发布全面迎接 Serverless 时代-90005作业帮云原生实践之路-92406Contents目录Apache RocketMQ 云原生统一消息引擎-94201ApsaraMQ Serverless 演进之路，助力客户降本-96602构建观测数据全景，打造端到端可观测体系-98101性能测试 PTS3.0，可观测加持的下一代性能压测服务-101402云原生可观测 Prometheus：构建开放的全栈可观测能力-105003智能驱动的云原生可观测平台-106904Contents目录茶百道微服务架构升级及运维实践-1098 01下一代软件架构如何构建微服务核心能力-111702云原生助力开发者高效用-114403大模型 On Serverless 助力因果推断-1190 01新一代 AIGC 图像应用在零售行业的实践成果-121402ACK集群类型选择最佳实践陈晓斌阿里云 Best practices for choosing a Alibaba Cloud Container service01容器&云原生化02容器服务 ACK 主要集群类型03典型场景分析Contents目录微服务容器化云原生复杂度+规模 驱动变化异构计算能力ECS,EBM,GPU,FPGA,ECI高性能网络VPC,ENI,RDMA,SLB,DNS高性能存储EBS,NAS,CPFS,OSSPublic CloudEdge ComputingPrivate CloudKubernetesWeb/mobile applications-Stateless-Idempotent-Horizontal scalableMysqlKafkaTIDBElastic SearchTensorFlowSparkFlinkRedisZookeeper从无状态应用，到企业核心应用，到数据智能应用Kubernetes成为云原生时代基础设施01容器&云原生化02容器服务 ACK 主要集群类型03典型场景分析Contents目录容器服务助力企业数字化创新ACK-Kubernetes ServiceACK Serverless-Serverless KubernetesACK One多集群、多环境管理统一集群管理统一资源调度统一数据容灾统一应用交付边缘容器-ACK Edge 专有云企业版 ACKACK Distro飞天技术底座与基础云服务客户 IaaS中心云本地云/专属云公共云边缘云专有云ASM统一应用通信ACR统一应用资产管理Enable Innovations for Everyone with Alibaba Cloud Container Services容器服务 ACK 架构 计算ECS,EBM,GPU,FPGA,ECI网络VPC,ENI,SLB,DNS,RDMA存储EBS,NAS,CPFS,OSSKubernetes Service(ACK)镜像服务ACR容器应用市场服务网格 ASM安全治理可观测性（日志、监控、追踪、告警）多云/混合云异构算力调度自动化、智能化运维体系弹性/成本优化微服务有状态应用大数据、智能应用创新应用Spring CloudApache DubboApache FlinkTensorflow区块链IoTMySQLRocketMQ安全RAM,云安全中心New Future on Cloud企业云原生化的强大技术底座 基于飞天操作系统，软硬一体协同优化；经过大规模生产实践沉淀的智能化运维能力大规模高效调度安全可信无损性能弹性智能运维国内首个通过信通院大规模测试-卓越级支持单集群上万节点，相比开源提升100%通过混部，典型场景资源利用率相比开源提升100%Al推理场景GPU利用率比开源提升100%云原生安全成熟度国内唯一全域最高级认证，可信云安全能力认证先进级安全沙箱：强隔离场景性能基本持平Linux。原生容器，优于开源10%计算密集型应用，相比开源性能提升20%容器网络小包场景，相比开源延迟下降30%弹性容器实例30s扩容3000 Pod，与友商相比，扩容效率提升100%ECS节点1分钟千节点扩容独有全场景AI增强的200+诊断能力，提升系统稳定性自动运维和分钟级自愈能力ACK Kubernetes集群托管控制面一致性 Kubernetes认证，无lock-inACK托管集群架构拓扑ACK集群架构拓扑Koordinator调度器任务队列数据集加速AI作业管理弹性训练Serverless推理Cloud-Native AI Suite Boosts Efficiency in Large Model EngineeringGPU利用率提升100%数据访问效率提升30%AI训练速度提升20%基础资源层云原生AI基础设施层GPUshareGangTopology-awareCapacityKube-queueFluidKubeflowArenaET-operator机器学习平台PAIAI平台/服务Kserve灵骏集群CPU/GPU/NPUOSS/CPFSVPC/RDMA智能计算灵骏AIACC通义大模型开源AI能力阿里云提供和支撑的AI平台与服务ACK云原生AI套件：助力大模型工程提效ACK Kubernetes 集群+云原生AI套件OpenKruiseGameOKG：游戏云原生化的最佳路线GameserverSetGameServer-0GameServer-1完全免费开源OpenkruiseGame是CNCF开源云原生负载openkruise在游戏领域下的最佳实践抽象，项目由多家一线游戏公司共同贡献维护面向多云/边缘/多集群场景内置多云/混合云场景的适配，推出了cloudProvider的模型，便于开发者在多种不同云环境下实现游戏的一致性交付内置游戏云原生化运维管理最佳实践将游戏场最下的版本热更新、网络IP端口固定、区服管理、自动伸缩等通用能力进行抽象，井通过语义化的配置进行透出，降低学习和二次开发的成本云原生能力无感打通通过无侵入式的声明方与云上能力，例如透明无损网络、弹性、低成本资源供给、全生命周期可观测性等能力无感打通全游戏类型覆盖覆盖PVP/PVE/MMORPG 等多种常见的游戏类型的差异化容器需求，白屏化支持复杂游戏架构的游戏服编排能力小鹏自动驾驶模型训练速度170XGPU利用率3X某互联网搜索排布 推理加速30%训练加速40%某互联网百亿GPT2模型 单机加速82%集群加速70%某元宇宙70亿NLP模型单机加130%集群加速7X基于云原生架构的智能计算基础设施：端到端软硬件协同设计，发挥系统的最佳性能智能计算工程平台PAI灵骏智算AIGC智算场景容器服务-ACK灵骏集群高性能计算节点高性能网络高性能存储自动驾驶科研智算金融量化智能计算基础设施智能计算资产管理智能计算运维系统模型管理代码管理数据集管理镜像管理资源组管理数据标注交互式开发分布式训练模型推理科学计算大数据计算安全资源告警任务告警集群管理资源监控灵骏节点池托管与自动化运维GPU共享调度与拓扑感知调度Fluid数据集编排与访问加速批量任务调度与任务队列标准Kubernetes集群服务（包括集群巡检，GPU监控、告警等）容器服务ACK提供标准Kubernetes集群服务，高效管理异构资源、调度异构任务，作为支撑AI平台的云原生底座，并提供AI、HPC等高性能计算场景下的云原生增强能力ACK灵骏集群：智能计算基础设施ACKEdge （powered by OpenYurt）非侵入能力边缘计算和阿里云生态融合轻量化接入增强型网络边缘节点池：基于 SD-WAN 方案，提供安全、快速的云边协同内网通路，并已正式商业化发布轻量化接入：支持十万规模端节点/设备轻量化接入，资源消耗持续降低。支持边缘侧 Pod 启停、OTA 升级功能OpenYurt：ACKEdge 产品核心能力开源，正式进入 CNCF 孵化阶段（推进中，待确认）Device EdgeE.g.工厂、园区、楼宇、机场、设备网关VSAGInfrastructure EdgeE.g.CDN,ENSNear EdgeE.g.交通、工厂制造、桥梁、车载NewNew增强型网络边缘节点池ACK Edge：云边端一体化解决方案在线音视频直播云游戏在线教育物流零售IoT异构资源支持边缘区域化管理运维协同网络协同ENSPrometheus边缘自治日志服务云边混合弹性云监控CEN+CCNEdge Tunnel-Agent Edge Tunnel-Server MQTTACK One：分布式云容器管理平台云上弹性多集群应用分发备份容灾统一运维与安全统一资源调度统一应用分发备份容灾Open Cluster ManagementACK One3rd K8s connector公有云边缘本地数据中心K8s 集群K8s 集群K8s 集群三方公有云K8s 集群多集群运维管理使用ACK One统一管理多个K8s集群，减少25%的资源用量，提升安全水位，业务连续性和数据安全性，运维效率提高80%混合云多调度器支持IDC负载感知和云端弹性，5分钟实现招聘业务3000+实例数万核扩容，支持多域名服务器的的自定义DNS解析。云上云下一致体验Contents目录01容器&云原生化02容器服务主要集群类型03典型场景分析场景一：在线业务稳定性保障代表案例：云快充 基于 ACK 实现 70%系统稳定性提升高稳定性的托管版 K8s 集群底座一键开启应用诊断能力无侵入式微服务治理增强eBPF 应用诊断技术，应用无侵入提供全局视角的应用拓扑请求数、错误数、延误三大黄金指标出发，发现异常服务个体基于 Java-Agent 实现无侵入式 微服务治理增强无损上下线和全链路灰度能力最小化版本发布对业务运行的影响生产事故70%研发效率75%完全兼容开源 Kubernetesmaster 节点托管、智能巡检诊断、跨可用区高可用大规模场景验证的稳定性保障能力业务痛点自建 K8s 集群维护复杂度高业务频繁变更带来稳定性风险节点异常、Pod异常、网络不通、etcd性能瓶颈80%以上的线上业务故障都与版本发布有关缺少微服务精细化治理和灰度策略解决方案：容器服务 ACK+监控服务 Prometheus+服务治理 MSE 生产事故率显著降低 业务高峰期系统稳定运行 研发效率提升单点击成本30%全球快速开服解决方案：容器服务 ACK+抢占实例场景二：增效降本与全球化代表案例：汇量 基于 ACK 降低 30%单点击成本 实现全球开服业务痛点业务访问量波动大，资源成本高全球业务发布复杂度高每天百亿级别广告交易，潮汐现象明显，资源浪费严重需要全球化开发、部署、运维，运维复杂度高高稳定性的托管版 K8s 集群底座全栈弹性能力全球化部署HPA，CronHPA，AHPA，VPA等多种弹性需求场景支持资源层与应用调度层弹性联动打通支持丰富的云上计算资源ACK全球26个Region开服完全兼容开源 Kubernetesmaster 节点托管、智能巡检诊断、跨可用区高可用大规模场景验证的稳定性保障能力业务系统容器化改造后，在降低单点击成本的同时还保障了业务高峰期的快速弹性，单点击成本降低30%，同时弹性按需扩缩的敏捷架构帮助业务在全球快速开服快速扩容，帮助客户增效降本。业务高峰期系统稳定运行解决方案：容器服务 ACK+AI套件资源成本50%研发效率25倍运维成本50%业务痛点业务迭代速度慢运维工作重复大量时间花费在 底层基础资源准备，集成，监控等AI工程化能力上日常驱动，cuda，数据等人力投入大，运维效率低资源性价比低环境准备，弹性能力不足，资源浪费情况严重场景三：AI基础设施云原生化代表案例：任意门 基于ACK云原生 AI 套件打造人工智能的社交平台AI PaaS 平台管理了从初期的数十张 GPU 卡到近千张的超大规模，日承载 AI 业务发布数百次，很好地支撑了业务的高速发展一站式AI应用生命周期管理异构资源统一管理高效资源利用率自动化管理GPU节点算法代码与标准镜像解耦自动弹性推理，节省一倍运维成本GPU共享调度支持Fluid数据加速能力数据管理大规模场景验证的稳定性保障能力解决方案：容器服务 ACK+ECI+Spark on ACK业务痛点业务稳定性方面资源利用率低资源缺乏弹性，运维复杂新游上线、版本更新、活动等场景时，流量与负载激增业务有潮汐现象，资源利用率低成本高存储与计算资源池固定，运维复杂，缺乏弹性场景四：大数据应用云原生化代表案例：米哈游 云原生大数据实践极致弹性与成本易维护稳定性高架构简洁、易维护存算分离ECI提供更加严格的资源隔离稳定性好Driver on ECS节点，Executor on ECI实现极致弹性-几千pod/30s常规抢占式ECI+普通ECI兜底实现极致降本效果节约 50%,报表展示速度提高30%，支撑单日任务数量10W+成本50%任务数支撑到10w+展示速度30%解决方案：容器服务 ACK+OKG成本可以节约30%网络减少一跳精准缩容闲置POD，有效节约成本业务痛点有状态应用缩容支持不完善有状态应用IP保持能力缺失K8S原生对有状态支持不够完善，无法对每个pod做精细化的管理K8S原生的StatefulSet无法固定Ip场景五：游戏应用云原生化代表案例：尚游网络 基于 OpenKruiseGame 云原生化游戏服成本30%网络连接提速游戏服通过采用OKG改造后，从网络适配层，精准定向缩容层面让成本下降了30%+，网络直连速度更快精准定向缩容游戏网络直连成本固定IP，减少中间层，提速降本精准缩容，精准运维，降低成本解决方案：容器服务 ACKEdge部署时间87.5%升级时间97%业务痛点边缘环境运维效率低异构环境稳定性问题突出车场分散，网络彼此隔离，车场计算资源无法直接被公网访问，运维挑战大大部分车场为window服务器，车场间部 署环境差异大，需要屏蔽底层环境差异，确保平稳运行应用发布效率低停车场运营主题不同，需求变化频繁，需要按需分批与灰度发布，当前发布效率低场景六：边缘应用场景代表案例：龙湖千丁 基于ACK Edge 高效落地云边端一体化智慧停车业务弱网环境运行更稳定易维护发布效率高云端管控，可对不同地域进行统一应用分发与管理可借助ACKEdge云端远程运维与调试可按业务分节点池，单元化发布基于节点池可实现分批与灰度发布边缘自治，断网情况下能正常运行边缘部署时间从一天缩短到了三小时手动升级迭代为OTA升级，时间从3天缩短到5分钟有效降低故障率，提升稳定性解决方案：容器服务ACK+ACK One资源供给时间月-分钟TCO降低业务痛点资源交付周期长需要更高性能的基础设施自建机房，新增资源的采购流程复杂，周期长AI 计算平台对网络、存储有更高的性能要求，在私有 IDC 里落地需要很高的时间和金钱成本场景七：混合云场景代表案例：vivo AI 计算平台的 ACK One 混合云实践弱实施简单，成本低一致性的体验按需可得的弹性资源内部资源供给界面不变随时可得的按需资源供给稳定可靠的云上资源客户原有K8S集群无需改动按需可得的分钟级别资源供给能力更少的资源拥有成本更加稳定的云上基础设施计算无界，承载无限阿里云容器服务助力企业精益用云THANKS ACK 云原生弹性方案赫曦阿里云高级技术专家云原生时代的加速器Contents目录01云原生技术助力企业降本增效02阿里云云原生弹性解决方案03企业云原生弹性案例与解析云原生技术助力企业降本增效01云原生技术加速企业IT信息化转型更多的企业认识到IT信息化转型的重要性云原生作为当下上云的新范式，成为很多企业加速IT技术架构弯道超车的快捷渠道如何用上好云、用好云、用省云成为了企业IT信息化转型中的核心关注点，降本增效是企业云原生上云的一致性共识云原生弹性降本增效30%成本下降阿里云云原生弹性解决方案02阿里云云原生弹性解决方案根据应用业务的场景，提供丰富灵活的策略-丰富场景化应用层资源层满足平台层的稳定性，提供稳定、快速、规模化的支撑-保障稳定性HPA基于资源阈值的容器水平伸缩VPACronHPA容器定时伸缩KEDA事件驱动伸缩ack-virtual-node无服务器资源交付ACK Pro Scheduler无服务器自动伸缩AHPA预测伸缩容器水平伸缩容器纵向伸缩United Deployment精细化调度弹性cluster-autoscaler第一代 节点自动伸缩ECS资源即时弹性第二代 节点自动伸缩ECI资源ACK应用层弹性-水平伸缩容器水平伸缩器应用负载Deployment指标时间事件PodPodPodPod基于阈值模型进行弹性伸缩典型场景 在线业务【微服务、网站、API服务】基于资源阈值的水平伸缩基于时间的水平伸缩基于可预期的时间，提前规划扩缩容典型场景 业务高低峰具有明显时间相关【外卖、大促】基于事件的水平伸缩基于事件驱动的弹性，可实现Pod缩容至0，从0开始扩容典型场景 消费事件来自动扩缩【MQ、MongoDB】ACK水平伸缩-弹性指标丰富ACK水平伸缩-泛化弹性对象泛化对象 实现了subresource/scale接口的对象都可以被弹性伸缩/scale对象需要实现replicas与labelSelector两个接口可扩缩对象 内置的对象Deployment、StatefulSet 实现了scale接口的对象，例如：OpenKruise阿里云扩展的弹性对象 OpenKruise -云原生优化的Kubernetes应用负载 United Deployment-精细化调度的弹性复杂 Presto Cluster -可伸缩的Presto集群资源层弹性核心问题成本效率规模兼容运维成本支持超卖是否使用Spot运维使用方式：免运维-开箱即用；强运维-持续投入的配置和管理运维难度兼容自定义内核参数Daemonset等场景的支持效率单次交付效率持续交付效率规模对底层API与APIServer的冲击可支持集群容量的上限cluster-autoscaler托管节点池A实例规格配置ecs.c7.xlarge、ecs.c7.2xlargecluster-autoscaler托管节点池B实例规格配置ecs.c8.3xlarge、ecs.c8.4xlargePending PodsPodPodPod交付不确定运维复杂弹性效率生态闭环Nodeecs.c8.3xlarge/ecs.c8.4xlargecluster-autoscaler的挑战节点池个数Scaling Rule节点池B-Node模拟Nodeecs.c8.3xlarge模拟调度节点池A-Node模拟Nodeecs.c7.xlargeAll NodesAll PodsAll DaemonsetAll PVCAll StorageClassList K8s对象信息All 节点池配置All 实例状态All伸缩活动状态List ACK节点池信息更轻更准更YOU交付的不确定性管理运维复杂弹性效率生态闭环cluster-autoscaler的挑战更快ACK即时弹性特性ACK即时弹性-第二代节点伸缩组件托管节点池A事件驱动的更快速、更稳定、更简单的下一代弹性伸缩控制器Estimator 模拟调度生成资源供给计划实例规格匹配ecs.c7.xlarge、ecs.c7.2xlargeProvisioner 根据Scaling Plan创建节点资源供给条件过滤最优预装箱策略ACK 控制面即时弹性Scaler托管节点池B实例规格匹配ecs.c8.*Watch Pending PodsPodPodPod装箱结果PodPodPodScaling Plan节点池B、规格3XPodcluster-autoscalerACK clusterNodePoolNodePodPodPodNodePodPodNodeNodePool即时弹性ACK clusterNodePoolNodePodPodPodPodNodePodPodNode资源交付确定性Pending PodsPodcluster-autoscaler最小灵敏度15sACK clusterNodePool即时弹性灵敏度3s，耗时无明显衰减ACK clusterNodePoolPodPodtime60s10s20sPodPodPodPodPodPodBatch1PodPodPodPodNode1PodPodPodPodNode2Batch2PodPodPodPodNode3PodPodPodPodNode2PodPodPodPodNode3PodPodPodPodNode10s65s90s45s55stimetime弹性效率Pending PodsPodPodPodPod长时间等待资源，如何排查？节点池弹性伸缩活动节点池配置实例库存情况云盘库存情况调度器日志Apiserver限流cluster-autoscaler logsPod详情Pod Events其他pod情况新增Nodes应用业务层应用平台层基础设施层网络资源库存实例添加日志透出、筛选、去重Pod Events简化运维配置建议弹性大盘实时感知扩容-供给策略Nodeoolcluster-autoscalerNodeool即时弹性节点个数扩容计划节点个数可用区A实例规格1Spot扩容计划缩容-节点选择NodeAcluster-autoscaler即时弹性用户系统可用区优先级自定义Spot限定实例优先级可扩展能力缩容决策Node ANode A自定义缩容决策Node BNodeANodeB更高的弹性效率更少的运维负担触发扩容速度提升-1s内并行扩容能力性能不随集群规模明显衰减更确定的弹性交付提升触发与调度的确定性提升弹性交付的确定性99%泛化配置减少节点池管理兼容的弹性配置切换工作小差异Cluster-AutoscalerGOATScaler扩容速度-10节点池60s45s扩容速度-100节点池 120-150s45s节点池实例规格单一灵活选择库存感知N/A有易用性中等简单更强的可扩展机制可扩展的资源供给策略可扩展的调度策略可扩展的缩容选择ACK即时弹性云原生弹性案例与解析03Prometheus采集用户自定义指标自定义副本数算法 ACK Metrics Adapter转化为HPA可用指标HPA根据指标伸缩WorkLoads/scale subresourcePodsPodPodAutoscaler节点池A节点池BPodNodePodNodePodDaemon-set PodDaemon-set PodNodeDaemon-set Podcustom metrics带冗余量的指标值预期副本数扩容计划：节点池A2节点扩容计划：节点池B1节点custom metrics月活亿级流量不好估计、流程徒增规模一个对战房间对应一个pod模型Pod打散&Pod冗余扩容需求等待玩家离开再缩容&缩容前完成收集日志缩容需求减少流量毛刺带来波动其他客户案例 游戏AI场景带冗余量的指标值客户案例 游戏AI场景快准省快速准确成本优自定义镜像加速节点添加多节点池并行扩容基于hostname的预调度策略优化Spot支持成本最优实例规格选择无损数据仅缩容不会造成二次扩容的节点排水保证Daemonset负责hook逻辑实现，如数据收集扩容Daemonset pod驱逐后缩容节点缩容业务无损支持hook逻辑THANKS 通过 ACK 智能化运维体系获得集群自动化诊断和自愈能力姜继忠阿里云高级技术专家Contents目录01Kubernetes和故障排查02使用AIOps套件诊断K8S故障03托管节点池Kubernetes很简单一键部署应用kubectl apply f nginx.yamlKubernetes也很复杂架构复杂，概念多，学习曲线陡峭配置复杂，易出错生态庞大，涉及众多技术领域Kubernetes运维挑战16.8%24.8%31.9%37.7%48.0%缺乏必要的技能和人才企业IT组织架构和文化遗留系统兼容性问题安全合规问题平台提供方支持力度有限Kubernetes and cloud native operations report 2022排查故障是Kubernetes用户难以绕过的坎应用层异常和系统层异常业务内部异常K8S层面无异常需要开发人员排查分析应用日志、代码由于配置或其他原因所导致的K8S,OS等层面的异常由业务代码逻辑所导致的异常应用层异常系统层异常非业务代码问题K8S或者更底层的问题需要运维人员排查分析k8S配置、底层资源配置典型的故障排查流程识别问题分析原因查看日志、监控、事件、配置修改配置，观察恢复情况Pod无法启动？节点状态异常？应用网络不通？根据问题，基于经验判断导致问题的可能原因，对于Pod持续Pending问题，可能的原因包括集群没有资源、部署约束不合理、镜像下载失败、网络分配失败等根据分析的可能原因，通过监控、日志进一步定位。定位到问题，修复后观测是否恢复故障排查的挑战技能门槛经验沉淀排查耗时通过AI实现自动化诊断Node云监控SLSKubernetes统一数据模型模块化采集采集数据源指标处理根因分析诊断类型接入Rule EngineKnowledge baseMachine Learning指标管理框架指标注册指标评估复杂指标预处理综合分析声明式规则外部接入持续优化ECS诊断vTrace用户评价知识沉淀诊断结果分析规则库维护问题排查标准流程Node诊断Pod诊断网络诊断容器智能运维CISOpenAPIIngress诊断内存诊断Service诊断LLM容器服务AIOps套件Pod诊断节点诊断Ingress诊断网络诊断内存诊断Service诊断智能诊断云资源集群配置集群组件节点配置K8S API兼容性智能巡检资源配额资源水位组件版本证书集群风险分析集群检查专家知识+大模型容器服务ACK使用AIOps套件诊断K8S故障使用AIOps套件诊断K8S故障使用AIOps套件诊断K8S故障直接定位根因多种类型的检查项使用AIOps套件诊断K8S故障Pod诊断使用AIOps套件诊断K8S故障节点诊断使用AIOps套件诊断K8S故障内存诊断使用AIOps套件诊断K8S故障网络诊断已开源https:/ 覆盖完整的Linux协议栈的配置错误场景 支持诊断多种云供应商的IaaS层网络错误配置深度网络监控 通过eBPF实现无侵入的Kernel Monitor 支持标准Prometheus接口暴露数据网络异常事件识别 数十种网络异常场景的自动分析识别 支持多种异常事件透出方式防患于未然系统无法访问，因为证书过期了！业务扩容失败，交换机IP耗尽！集群容器不足，但是扩容失败，因为路由表满了！使用了新版本废弃的API，集群升级之后业务挂了！智能巡检 定时自动运行 每周巡检报告，支持订阅 自动识别集群内潜在风险，防患于未然 包含5大类共40项检查，涵盖集群大部分故障类型全托管节点池Self Managed NodepoolManaged Nodepool ACK主动运维管理ACK管控 节点诊断和自愈 CVE安全问题自动修复 节点kubelet小版本自动升级 节点组件自动升级（containerd/systemd等）全托管节点池为ACK节点池提供自动化运维能力，降低用户节点管理负担，提升用户节点环境安全水位和可靠性。节点故障自愈。CVE自动修复。节点组件自动升级（规划中）。全托管节点池支持节点异常场景覆盖10+，包括DockerHung、ECS异常、kernel panic等。自愈成功率99%+。Node NotReadyDockerHungNTPProblemECS异常/OS Panic节点自愈Restart kubeletRestart docker/containerdRestart ECS节点异常节点状态恢复正常（数据来源于阿里云容器服务测试结果）全托管节点池ACK自动修复托管节点池中节点CVE漏洞，提升集群节点安全水位。对于紧急CVE漏洞，可最早在当日触发自动修复。ACK管控云安全漏洞管理中心获取CVE漏洞信息在集群运维时间窗口内分批修复节点THANKS 基于ACK One实现简单的跨云协同让业务管理更高效庄宇阿里云高级技术专家Contents目录01分布式云容器平台ACK One02注册集群-接入和管理不同形态K8s集群03边缘集群-接入和管理边缘计算资源04多集群舰队-统一管理多个K8s集群05全托管Argo工作流集群分布式云容器平台ACK One01分布式云已经成为新常态 Gartner报告中，到 2025 年，50%的大型企业将在他们选择的地域通过分布式云服务实现业务模式转型 Forrester 报告中，未来 89%的企业至少使用两个云，74%的企业至少使用三个甚至更多公共云。Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战。分布式云容器平台ACK One云上弹性多集群应用分发备份恢复云上云下一致体验ACK One Fleet 统一运维与安全统一资源调度统一应用交付统一备份恢复Open Cluster Management3rdK8s connector公共云边缘本地数据中心K8s 集群K8s 集群K8s 集群三方公共云K8s 集群多集群运维管理使用ACK One统一管理多个K8s集群，提升安全水位和业务连续性，减少25%的资源用量，运维效率提高80%混合云负载感知弹性，5分钟实现业务数万核扩容。（以上数据为客户业务场景应用结果）注册集群-接入和管理不同形态K8s集群02ACK One注册集群架构云上云下一致的运维体验注册集群 2注册集群 3ACK One 注册集群本地数据中心阿里云K8s ClusterKCM/SchedulerAPI Server三方公共云K8s ClusterAPI ServerKCM/SchedulerAgent PodAgent PodARMS(APM)SLS(Logging)PrometheusSecurityMSE 微服务注册集群 1其他账号ACK 集群ASM 服务网格云上弹性Virtual Kubelet(ECI CPU/GPU)Node Pool(ECS CPU/GPU)FinOps场景1:云上弹性ACK One 注册集群 节点池弹性调度Virtual node 弹性容器实例 ECI ECS NodePool按量计费节点池 ECS WorkersPodPodPodPodPodPodPodPodPodOScontainerdkubeletECIECIECIECIECIECIECIECIECIECIECIECIVirtual node Pool工作流/流水线云网络侧 Terway CNI，CSI 云存储侧：NAS/CPFS/OSSIDC 节点PodPodPodPodPodPodPodPodPodOScontainerdkubelet调度优先级 调度优先级 调度优先级 在混合云工作流程中每天按需处理 400-1000 个癌症检测样本，每个病例的成本将降低 60%。通过ACK One统一管理北京混合云集群，应对突发话题数分钟扩容30K core计算资源。通过ACK One统一管理北京，义乌，杭州多个云上云下集群，利用云上弹性资源处理基因分析下机数据，峰值 100TB/天.场景2:云上云下一致的运维体验（可观测）MonitoringEvents and AlertingARMS PrometheusEvent Centerfrom SLSPrebuilt Dashboard for Ingress access log from SLS场景3:云上云下一致的运维体验（安全）配置巡检：1.安全性：特权参数配置，高危内核 Capabilities，root 用户启动，未开启 TLS 的 Ingress，匿名用户权限绑定等。2.有效性：CPU/Memory 资源配额限制缺失等 3.稳定性：liveness 和 readiness 探针缺失，单副本启动等 运行时安全检查：对存在恶意进程的容器进行检查，并通过钉钉发出警报 策略管理：限制容器以特权模式启动，重要命名空间防删除等基于容器安全最佳实践，一键化免费检查多云/混合云集群应用配置安全，保证多云/混合云集群容器应用的安全性、有效性和稳定性。发现应用配置潜在的安全稳定性隐患。场景4:云上云下一致的运维体验（成本）使用ACK One统一管理多个K8s集群，提升安全水位和业务连续性，减少25%的资源用量，运维效率提高80%Cost Insight迁移到云上成本估计成本和归属可观测Cost Control成本预测预算告警公共云本地数据中心ACK 集群 /ACK One 注册集群 多视角成本洞察：Cluster/namespace/node pool/application 成本治理：浪费发现，成本预测，预算告警 开放：支持OpenCost标准和集成KubeCost（以上数据为客户业务场景应用结果）场景5:应用与数据的备份恢复用户数据中心 混合云存储容灾（Hybrid Backup Recovery-HBR）数据灾备库应用上云数据灾备业务容灾异地多活提供跨地域和数据中心的应用一致性备份和秒级恢复，帮助用户业务应用快速上云提供跨地域和数据中心的有状态应用备份，支持备份策略和恢复策略提供跨地域和数据中心的应用和数据容灾提供兼容Kubernetes/开箱即用的两地三中心容灾系统，帮助用户搭建高可用系统场景6:混合云跨云数据访问接入第三方分布式存储：连接云