释放算力潜能加速应用构建Serverless为AI创新提速.pdf
《释放算力潜能加速应用构建Serverless为AI创新提速.pdf》由会员分享,可在线阅读,更多相关《释放算力潜能加速应用构建Serverless为AI创新提速.pdf(28页珍藏版)》请在咨信网上搜索。
1、释放算力潜能加速应用构建Serverless 为 AI 创新提速赵庆杰 阿里云Serverless 基础架构团队负责人2023年12月1日目录01AI 应用的发展趋势以及面临挑战02Serverless 技术加速 AI 应用的构建03Serverless AI 应用案例AI 应用场景极速增长百花齐鸣的AI 应用市场竞争下,“迭代速度”成为关键因素之一异构计算GPUCPUNPUFPGA资源调度资源虚拟化分布式调度基础设施:数据存储与高性能网络模型训练AI 计算开发者领域AI 工具算法框架AI Studio算法库AI 在线应用(推理)AI应用PaaS 平台网关鉴权快速部署服务依赖AI 应用面临的挑
2、战AI 应用的构建复杂,且需要多环境部署支持,需要与非 AI 应用集成随着 AI 应用功能逐渐丰富,调用链路长极大影响问题的快速发现AI 应用组件无法复用,持续重复造轮子,浪费资源成本,如绿网能力,队列等网关通用能力,安全鉴权,限流保护,多协议支持,防护攻击等AI 计算力面临的挑战GPU 资源紧缺且成本高,需要持续保有购买卡型不统一导致算力不统一,进而影响应用层架构随着计算规模的提升,容错能力也越来越重要大数据的读取,以及模型的快速加载,对于底层的技术要求越来越高AI 技术概览GPU 太贵,型号那么多,换代快,怎么架集群找不到 GPU机器用机器利用率太低了!那么多机器都闲着听说GPU很快,但是
3、我们工程师用起来反而比 CPU 慢硬件复杂度资源管理复杂度全系统优化复杂度调度效率复杂度经常听到的问题?Serverless AI 应用解决方案如何高效率低成本落地如何方便快捷部署使用工程相关算法相关接口相关 工程能力比较强,更希望有一个平台可以提升整体的研发效能,降低运维成本;往往和实验室/公司内的设备有强关联,需要有安全保障等;负责 AI 应用平台建设和管理负责 AI 模型开发调试通过 API 等对接口进行工程化封装 算法能力比较强,希望有一个好用的 AI 模型管理平台;希望可以在本进行开发调试、线上进行测试的时候,有一个便捷的环境等;工程能力比较强,更希望有一些项目案例等,可以帮助业务快
4、速的发布和上线;有完整的应用开发、调试、发布流程等;AI 开发者模型相关工程相关算法相关接口相关不同角色,在 AI 场景下的诉求函数计算提供构建现代化高可用 AI 应用的简化路径,是 AI 应用的最佳实践Serverless 开发平台 AI 场景三步上手最佳实践,一键模型托管,上手门槛降低 80%;快速弹性 CPU+GPU 实例赋能 AI 应用降本提效;上手简单,降本提效Model Scope,Hugging Face 开源生态联动;LangChain 等 AI 开源框架与阿里云产品高集成;最佳实践,心智强化拥抱开源,开放生态10+应用场景,50+应用案例,一键部署,快速体验;覆盖 2W+AI
5、 应用开发者,打造阿里云函数计算 AI 第一心智;电商软件开发教育医疗创作函数计算NASAPI GWRDSGreenWebMQARMSModelScopeHugging Face通义千问App Store其它模型 Plugin旅游行业Serverless 开发中心模型/应用生态函数计算 AI 场景特定能力AI 场景/行业场景化案例库应用全生命周期管理Composer应用多环境管理BaaSFaaS函数计算 MaaS应用流水线场景化 AI 应用数据来源于阿里云业务数据Serverless GPU 按请求付费Serverless GPU虚拟化技术算力强隔离,显存强隔离故障强隔离GPU兼容原生应用业务
6、流量Serverless GPU两级资源池热资源池:避免 Node 级别 ScaleOut 引起的分钟级别冷启动。资源供给:FC GPU/IaaS GPU两级资源池共同保证 GPU 资源供给。使用成本:FC GPU资源池平台持有,用户只为真实使用付费。热资源池,实时弹性,平台持有,用户低成本Serverless GPU 按请求付费免费额度:函数计算为首次开通服务的用户提供免费试用额度:GPU试用额度:前100万GB*秒GPU资源使用免费。注意:免费额度不包含公网出流量。领取后 3 个月有效期。计费项单价函数调用次数0.002元/万次GPU 使用量0.00005元/GB*秒GB 级镜像实例秒级启
7、动挑 战典型负载模式:一次性提交大量任务,启动数百-数千实例处理共享存储带宽有限,大规模实例启动打满带宽共享存储延时 10-20 ms,比块存储慢 10X 以上思 路镜像中存在大量冗余数据,按需加载远端数据结合多种存储服务构建层次化的缓存体系通过负载感知的方式最大化缓存效果结 果块存储的性能,共享存储的成本GB 级镜像启动开销 3 秒SD 78GB 模型启动 20 秒最大镜像支持 15 GB实例节点共享存储(对象存储 oss)L2 缓存,跨机器传输,延时 90%IO 实时公平流控数据来源于阿里云业务数据AI 应用的集成:一键部署 AI 应用函数计算NASPAIGreenWebOSSAI 应用场
8、景/行业基于开源模型和通义千问进行图片生成,旅游攻略等内容生成内容电商数据归因分析、内容生产、话术整理等直播预料问答教育/客服Serverless 开发平台基础能力应用管理多环境流水线/CICD可观测能力WebIDEAI 场景特定能力场景化模板案例排队模型内容安全默认 API/UI基础模型管理致力于构建现代化高可用 AI 应用最短路径ModelScopeHuggingFaceCivitai通义千问其它大模型Custom(自定义)Custom(自己项目)云市场通义千问应用市场其它大模型Plugin 函数计算 AI 开发模式啥都没有,思路探索AI 场景将会提供 Stable Diffusion,L
9、angChain,OCR 等多种形式的 AI 应用案例,用户可以一键选择,快速部署,直接使用HuggingFace/ModelScope用户只需提供 HuggingFace、Modelscope的模型地址/创空间地址,即可快速构建 AI 应用,并天然具备 API 调用能力或 UI 使用能力热门场景/热门模型针对行业内热门应用、场景、模型,提供定制化 UI,进一步提升使用体验,例如 Stable Diffusion 应用提供包括模型管理在内的应用管理页面有模型,有代码,随时可用只有模型、只有代码、或有模型又有代码的用户,可以使用通用的 Serverless 应用管理能力/Web 应用管理能力,帮
10、助用户更好,更方便的使用函数计算开发者函数计算消息中间件绿网硬盘挂载数据库对象存储私有网络 用户API 调用UI 使用应用案例上传模型上传代码代码仓库Serverless 开发平台AI 应用场景应用管理可观测应用流水线云上开发模型管理域名管理安全管理开发流程多环境Serverless AI 应用案例Serverless 函数计算 GPU 应用场景选型指南(针对推理)您的工作负载是在线还是离线任务?您的工作负载对延迟是否敏感?您的工作负载对 GPU集群的利用率高吗?您的 GPU 工作负载是否有成本高、弹性慢、运维复杂的困扰?选择自建 GPU 集群选择【函数计算+GPU】异步调用模式(支持异步任务
11、状态管理)选择【函数计算+GPU】同步调用+准实时推理(自动弹性伸缩,有秒级冷启)YesNo在线离线NoYesNo秒级延迟毫秒级延迟选择【函数计算+GPU】同步调用+实时推理(GPU 预留+自动弹性伸缩)60%我很有钱降本提效Serverless 应用中心一键部署 SD 应用Serverless 应用中心一键部署知识库应用Stable Diffusion WEB UIStable Diffusion 后台专属 Stable Diffusion 环境Serverless函数计算平台大语言模型知识库应用Serverless函数计算平台AIGC 应用场景秒级弹性大规模 GPU 集群按量付费降本提效应
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 释放 潜能 加速 应用 构建 Serverless AI 创新 提速
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。