2024数字科技前沿应用趋势.pdf

智能科技 跨界相变 20242024 数字科技前沿应用趋势 封面图片由腾讯混元AI生成过去一年，我们见证了数字科技的加速度。每个人都身处变革巨浪之中，既对大模型的突破进展无比兴奋，也对未来充满了无限憧憬。新年伊始，眺望未来2-3年的科技趋势。我们正驶向一个由连接衍生交互、由计算催生智能的时代。高性能计算、量子计算、云计算和边缘计算这四大计算“融汇贯通，正催生全新的计算范式。通用人工智能渐行渐近，大型模型走向多模态，AI智能体可能成为下一代平台，AI科学家有望加速问世。全球已达共识，AI治理将引领我们踏上更智慧、更安全的未来。机器人演进加速，灵巧手让人形机器人更敏捷、更像人。AI与生命科学的交融，将帮助我们洞察更多的生命奥秘。我们会进入一个3D、全真在场的新世界。脑机接口不仅在医疗实现突破，正拓展至更多的互动场景。或许不久的将来，我们将亲自见证意识上载从科幻成为现实。手机卫星电话、垂直起降飞机将改变我们的应急方式和出行模式。交通网、信息网、能源网的融合，将推动智能、绿色的能源变革。未来已来，一个充满韧性和重塑的全新时代即将揭开序幕。让我们拥抱变革，共同谱写人类与科技和谐共生的新篇章！在这个日新月异的变革时代，我们有幸见证并参与了数字科技的创新突破。特别是近年来，以大模型为代表的AI技术，让我们看到了通用人工智能的曙光，有望大幅加速技术演进的步伐。腾讯的2024数字科技趋势，从连接、交互、计算和智能四个维度，对100多项未来技术和重点方向给出了趋势性判断。从星地直连的卫星互联网，到垂直起降飞机的未来交通网，再到能源、信息和交通的多网协同，未来网络连接的广度和深度都迎来无限可能。交互方式正在发生变革，数字交互引擎不仅让虚拟世界更真实，也让真实世界更丰富，未来的全新3D视界呼之欲出，脑机接口的新进展也带来了更大的想象空间。计算无疑是各类智能的底层基础支撑，也成为当前竞争的焦点领域。而智能的升级，不仅会给机器人注入具身智能，还给微观世界的基因计算带来新突破。预测未来的最好方式，就是创造未来。相信在行业各界的共同努力下，这些前瞻洞见会更快到来，从趋势变成现实。丁 汉中国科学院院士去年以来，以生成式AI为代表的人工智能技术发展激荡人心，正在引发智能的元革命。可以遇见的未来，智力将会成为一种基础设施服务，新的IaaS呼之欲出。类比摩尔定律，未来可能会出现新的智能定律，对信息世界、物理世界和生命世界带来全方位的影响。未来十年，AI会无所不在。首先，现有的各类应用可以用AI重新做一遍，新的交互变革、体验创新将会带来更新的智能硬件、更多的智能服务，孕育出比历次工业革命都巨大的产业机会。其次，AI会成为各领域的底层操作系统，AI+机器人的具身智能，AI+生命科学的基因计算，AI+未来出行的自动驾驶汽车和垂直起降飞机，甚至AI+脑机接口的硅基和碳基结合的新生命体，都会一步步成为现实。最后，AI能力的提升也伴随着风险的扩大，我们要充分发挥技术发明的智慧和把握应用方向的智慧，让AI科技更善良、更有创意，朝着强化人、成就人的方向可持续发展。张亚勤中国工程院院士、清华大学智能产业研究院（AIR）院长一、计算重塑 高性能计算的“四算聚变”二、智能升维多模态智能体加速AGI进程 AI加速人形机器人“手、脑”进化AI+基因计算解读生命密码三、沉浸交互数字交互引擎激发超级数字场景脑机接口从医疗突破迈向交互革命沉浸式媒体催生3D在场四、未来连接星地直连通信推动泛在网络覆盖eVTOL加速空中出行奔赴新时代多能流实时协同重塑虚拟电厂目录本章节与行业机构光子盒联合研究推出量 超 云 边高性能计算3.0将以高性能集群为基础，融合量子计算、云原生和边缘高性能，形成并行与分布式一体的计算架构。0102破 墙 而 出处理器、存储和网络等关键硬件技术，正在不断进化、重组甚至是革新，试图突破现有的性能瓶颈，其中存算一体技术为“后冯诺依曼时代”提供新的发展路径。趋势要点今年，全球各地高性能计算集群迎来向2.0架构（CPU+GPU）的升级潮，高性能计算集群、量子计算、云计算和边缘计算的“四算融合”也成为高算 3.0 演进的新趋势，衍生新一轮科技探索。高算相关研究机构和企业纷纷加大了在计算单元、存储、网络互联、软件中间件、算法等关键技术上的科研投入以适应新形势，并努力寻找穿越“内存墙”的有效路径。未来几年，高性能算力应用将爆发，以人工智能和科学计算模拟为代表的应用算法、软件、以及相关的研究成果和记录将迎来一轮刷新。加之可持续计算的加大投入，高性能计算技术应用发展呈现快演进、重效能的新形势。03模 拟 一 切计算机模拟，因为算力的提升、软件工具的迭代、以及与人工智能的结合，将成为大语言模型之后、迭代最快的应用发展路径。2024年数字科技前沿应用趋势04可 持 续 计 算持续高企的耗能，使得“计算能效”成为可持续计算的重要指标，高性能计算各个层面为“降耗提效”加紧探索。大事记chronicle of events2024年数字科技前沿应用趋势9 月，算能与山大共同研发了面向高密度计算和数据中心场景的 RISC-V 融合服务器集群方案正式交付，这是 RISC-V 在数据中心的首次商业落地，标志着 RISC-V 正式迈入高性能计算领域。该集群共有 3072 核，采用 48 颗算能科技 SG2042 RISC-V SoC 64 核 CPU芯片。首个RISC-V高性能服务器集群交付2 月，Google Quantum AI团队在自然杂志上发表名为通过扩展表面码逻辑量子比特来抑制量子错误的论文，证明将多个量子比特分组合成为一个逻辑量子比特的纠错方法可以提供更低的容错率，进而证明量子纠错达到“盈亏平衡点”，量子计算机将“越纠越对”。这是量子计算发展的重要里程碑，为实现通用计算所需的逻辑错误率指出了新的途径。纠错量子技术实现“盈亏平衡点”7 月，欧洲中期天气预报中心（ECMWF）发布了 4 月和 7 月进行的对比测试报告，将华为盘古气象模型于欧洲数值模型进行了对比。报告显示，盘古气象模型在一系列精度指标上展现出优势，在处理气象学家关心的极端天气预报方面表现出色。其1 小时-7 天的预测精度均高于传统算法 operational IFS，同时预测速度提升 10000 倍。相关论文也发表在自然杂志。盘古气象模型投入欧洲气象预测最新 E 级高性能计算机 Jupiter 开建10 月 4 日，欧洲高性能计算联合组织EuroHPC启动了欧洲第一台百亿亿级高性能计算机JUPITER的建设。该系统专为科学和工业领域的最大可能模拟和人工智能应用而设计，预计 2024 年推出。JUPITER采用了当前最先进的高性能计算技术方案，包括欧洲自研 CPU Rhea、英伟达GH200、液冷机柜等，此外系统还预留了量子计算和神经形态计算的扩展规划。1.0：CPU为核心计算单元2.0：CPU+GPU成主流3.0：CPU+GPU+QPU 异构计算集群至今未来图片均来自互联网公开信息2024年数字科技前沿应用趋势关 键 学 科量子信息科技集成电路设计与系统信息与计算科学冯诺依曼架构下，限制高性能算力扩展的“内存墙”越发明显https:/ 高性能计算集群全柜化浸没式相变液冷技术硅光集成芯片连接与测控技术量子存储器技 术 热 点市 场 趋 势热 议 问 题数据来源：https:/ 5 年，高性能计算传统 市 场 的CAGR将维持在8%，而高算 云 服 务 的CAGR 将超过 18%。合并市场总量预计将在 2027 年 达到592亿美元。0100002000030000400005000060000202220232024202520262027高性能计算市场趋势（单位：百万美元）服务器云服务存储应用相关服务中间件随着高性能计算机群不断引入web 服务和容器化等云计算技术，以及云计算平台开始提供分布式高性能虚拟机服务，两者技术栈开始迅速同化；传统高性能计算与量子计算的融合，成为未来高性能算力跃升的高潜路径，世界各大研究机构纷纷开展试验；量子计算系统的扩展引入了集群的思路，量子云平台将成为量子计算软件开发和应用探索的重要基础设施；高性能、低功耗的芯片技术正在培育高性能边缘计算的基础，云边协同的分布式架构将成为高性能计算未来的典型架构之一。云超同化量子集群出现、云服务普及2024年数字科技前沿应用趋势高性能算力的充分利用，云计算技术的引入是必要选择。现有高算集群云原生化脚步进一步加快，如IBM 云原生高算Vela，以及 AWS 和英伟达联合的Project Ceiba；另一方面云计算平台对于并行+分布式的高性能计算方案实践，也展现了进一步释放现有算力价值的可能。比如谷歌云提出“算力多切片训练”方案，以实现超出一般高算集群负载的超大规模 AI 训练。量子计算集群出现：IBM 公布可扩展量子计算系统 IBM Quantum System Two，引入模块化架构和计算机集群设计，可让系统容纳 10000 个量子比特。量子云服务普及：这有助于上层软件和应用的高效研发。全球已有超过20家机构推出该服务，机构从整机公司（如IBM），发展到云服务商（如AWS），再到科研院所（如北京量子院）。高性能计算走向云边协同高性能边缘计算（HPEC）成长中：目前HPEC单点算力可达千万亿次每秒，自动驾驶和机器人是典型应用场景。除传统计算平台外，神经形态芯片、光电计算芯片等新技术的成熟也在不断提升边缘算力和能效。可以运行文生图大模型的骁龙 8Gen3 很快将面世。IBM神经形态芯片NorrthPole 比相同制程的 CPU 芯片能效提升 25 倍。将在自动驾驶等场景试点。清华大学研发的 ACCEL 光电计算芯片在视觉 AI 任务中，比同用途常规芯片快三千余倍，能效提升四百万余倍。云边协同：为获得实时计算决策以及更高的信息安全环境，将部分数据处理、模型训练以及推理等工作，从数据中心/云平台迁移至云边协同架构下，是必要的技术路径。量超融合量超融合成为行业共识：通过将计算任务在量子计算机和高性能集群之间进行分解和调配，实现量超协同，在大幅节约资源的情况下，双向发挥量子计算机和超级计算机各自优势。预计连接两者的量子测控系统将成为量超融合“三步走”的关键系统之一。2023年9月，本源量子与上海、郑州机构/公司共同打造了中国首个“量超融合”先进计算平台2023年11月，芬兰VTT技术研究中心开放量子计算机，并通过LUMI超级计算机进行访问IBM Vela 架构IBM Quantum System Two 集群既谷歌和亚马逊，微软、Meta 今年先后发布自研高性能芯片；而老牌芯片公司也相继补齐 CPU 和 GPU 产品矩阵；同时，ARM和RISC-V芯片在高性能领域的应用探索也在增加，高性能芯片性能之争加剧；冯诺依曼架构的“内存墙”越发明显，业界纷纷采用存算一体技术，提升现有芯片性能的同时，研发神经形态计算芯片，探索“破墙”之路；量子比特制备的各条技术路线均有进展，竞争更加激烈；而芯片互联、逻辑量子比特制备等突破，显示量子计算芯片发展开始追求质量和实用。存算一体，突破“内存墙”量子比特制备路径之争将更激烈QPU 发展从数量到质量芯片技术多元化发展加剧英伟达、Intel、AMD 等纷纷采用 HBM和LPDDR 等内存技术实现近存计算，内存带宽突破5TB/s，算力再提升。2024年数字科技前沿应用趋势Quantinuum推出32量子比特GHZ状态的新一代H2离子阱量子计算机。英伟达 Grace CPU 采用 960GB LPDDR5X 内存AMD MI300X 采用 192GB HBM3e 内存多条技术路径并进：超导、离子阱、光量子、冷原子等路径均有进展，竞争将更激烈。千级量子计算机达成：IBM发 布 了 1121 量 子 比 特 的Condor 处 理 器；AtomComputing将在24年推出全球首台超过1000量子比特的中性原子量子计算机。Intel 推出名为Tunnel Falls、含有12个硅自旋量子比特的量子芯片。AWS（亚马逊）发布超导量子芯片，提出“主动+被动”纠错方案，专注提升纠错能力。九章三号首次突破255个可控光量子数目。众多科技企业纷纷加入高性能芯片大战的同时，芯片技术的多元化发展进一步加剧。微软的ARM 架构CPU Cobalt100Meta RISC-V 架构SoC AI 加速芯片位于葡萄牙的高性能计算集群Deucalion将 采 用 富 士 通 的ARM 架构高性能芯片 A64FX。算能科技日前向山东大学交付 国内首台RISC-V 服务器集群，该 集 群 拥 有 48 颗RISC-V 高性能芯片SG042。神经形态计算（Neuromophic Computing）是“后冯诺依曼时代”突破“内存墙”的重要计算技术路径。受人类大脑原理的启发，神经形态计算芯片通过存内计算（Compute in Memory）方式，实现高算力的同时实现超低功耗。目前该类芯片尚处研发早期，Intel，IBM，中科院和清华等发布阶段成果。芯片互联出现：IBM发布133比特具备互联结构的Heron处理器。这是国际首次完成芯片互联的结构，模块化量子计算机时代即将到来。逻辑量子比特制备突破：哈佛大学、QuEra、MIT和NIST/马里兰大学联合实现在48个逻辑量子位上执行复杂纠错量子算法。云原生技术的加快普及，以及虚拟化和容器化技术与传统计算变成平台的结合，将加快AI 计算和传统科学计算应用的大规模迁移，高性能算力的潜力将进一步得到释放；人工智能大模型的研发、科学计算应用软件的迁移，以及科学计算建模算法与人工智能技术的结合，将比预计的快许多，科学家和科研团队的生产力将迅速提高，科学研究将迎来快速进步的新形势。云原生技术加快普及2024年数字科技前沿应用趋势云平台容器服务将加快对高性能计算服务的支持，并进一步兼容CUDA 等并行计算平台，为用户提供高度自动化的高性能计算工作环境，大大提高研发和实验效率。云平台HPC云服务容器服务谷歌云 H3，A3GKETPU v5e亚马逊云 EC2 UltraCLusterEKS微软云 NC H100 V5AKS英伟达云DGX CloudNCTIBM云 VPCKS腾讯云 THCCTKE阿里云 SCCACK百度云 CHPCCCE华为云 GACSCCE计算平台CUDAOpenCLOpenACCOpenMPSYCLROCmoneAPI+科学模拟应用和成就将迎来大爆发更多高算集群尝试 LLM 训练算力骤增，算法升级：传统高算集群正在迅速的向CPU+GPU的计算架构升级，如芬兰的 LUMI；同时，全球新建高算集群也如雨后春笋，如德国的JUPITER 和沙特的 Condor Galaxy；而云超同化使各地高性能算力更易访问；此外，许多传统模拟数值算法经AI 技术优化后，性能大幅提升。需求强烈：各国科研团队、企业和研究机构纷纷基于高性能算力展开各项科学计算模拟实验。核聚变模拟血流和癌细胞模拟地理空间模拟暗物质模拟气象模拟与预测量子电路模拟飞机材料腐蚀模拟大涡模拟传统高算集群通过加装 GPU 集群、结合云平台高性能计算服务得到升级后，将具备更强的 AI 加速计算能力，进而可以支持人工智能大语言模型的训练。智谱 AI 的 ChatGLM3支持在神威高算上运行；芬兰将基于 LUMI 创建项目 LumiLLM，研制多语言模型，全面覆盖欧洲官方语言；美国阿贡国家实验室开始基于 Aurora创建 ScienceGPT，预计参数数量达到 1 万亿，将为广泛的科学研究提供帮助。Aurora 高算集群于今年 完成安装，理论峰值算力达 2E。可持续计算，是数字经济和双碳目标背景下，高性能计算技术演进历程中的路标和灯塔。拥有可持续高性能计算的技术，也将成为重要的竞争力；环境可持续的同时，计算能效将成为评估高性能计算技术先进性的重要指标，存算架构、冷却技术、计算软硬件和供需匹配3条路径将并行展开探索；机器学习、神经网络等人工智能技术与传统科学计算建模的结合，将有助于大大提升建模效率和模拟精度，进而提高能效；践行可持续的高性能计算2024年数字科技前沿应用趋势以TOP500 排名第一的Frontier 高算集群为例，其算力可达 1.6EFlop/s，功率可达 20 兆瓦，相当于近 1万户家庭用电水平。据统计，数据中心的耗电量约占全球耗电量的 1%，我国 2020 年占比是2.7%。虽然当前尚无准确的数据中心能耗预测，但急剧增加的人工智能大模型训练等高耗能计算应用，势必会使这个数字继续增加。可持续计算，通常指在设计、建造和使用计算机技术（包括硬件、系统、软件）的过程中，力求实现最大的能源效率和对环境影响的最小化。世界经济论坛发布2023 十大新兴技术报告，“可持续计算”位列其中。Intel、IBM、英伟达等先进计算企业也在不遗余力的践行和推动可持续计算。包括Green500、CCF、以及业界机构与企业，均采用“浮点运算次数/每瓦特（Flops/Watt）”作为能源效率评估的核心指标。2023 年 11 月 Green500 排名第一的是位于美国的 Henri 高算集群，能效达到 65.4GFlops/Watt。计算能效将更受关注浸没式液冷加快普及更合理的算力供需匹配更先进冷却技术更高能效的计算软硬件提高计算能效的3 个途径传统风冷所需能耗可占数据中心总能耗的 20-30%。液冷，特别是浸没式液冷能耗相比风冷低 30%以上。同时，利用环境水冷却的水下数据中心也在实验中。英 特 尔 将 24台装有至强处理器的服务器，置于一个充满合成且非导电油的槽中冷却。高能效软硬件持续探索清华大学研发出全球首枚忆阻器存算一体芯片，能耗仅为同类AI用途ASIC 的 3%IBM 研发出基于相变存储器、用于深度学习推理的存算一体芯片 AIMC，在 8 位向量计算任务中，能效可达 9.76 TFlops/w高带宽内存：H200 采用高带宽内存 HBM3e，能耗降至 H100 的一半；超低功耗计算单元：神经形态计算具有超低功耗下实现高算力的潜力，值得持续探索。AI+科学模拟：深势科技团队将机器学习技术与科学模拟相结合，复现了今年戈登贝尔奖获奖实验，而相比获奖方案，复现实验所需资源减少四个数量级，模拟速度提升三个数量级。追求“量子效用”IBM 提出“当量子计算机能够以超出暴力经典计算方法的规模执行可靠的计算，从而为计算问题提供精确的解决方案时，即能获得量子效用”。同时建议基于 100 多个量子位来探索能获得量子效用的应用案例。多模态、Agent和端侧从文本到图像、音视频等更多维度，多模态将推动AI应用的广度；Agent为AI带来“手和脚”，大幅拓展应用深度。端侧大模型成为各大硬件厂商重点，有望带来新生态。0102AI for Science生成式AI对科学研究的助力日益凸显，“AI科学家”有望来临。03趋势要点生成式AI推动技术迈入了通用AI的门槛，从理解到生成，从感知到决策，人工智能的能力进一步提升。加上多模态、Agent、以及具身智能等方向的持续探索，AI有望完成“感知决策行动”的闭环。迈入AGI门槛后，AI将有望成为通用目的技术，进而成为新生产力，给全球经济、社会带来全方位的巨大影响。价 值 对 齐RLHF和宪法性AI等多种技术和治理方式，持续强化与人类价值的协调，对齐也成为大模型的重要竞争力之一。2024年数字科技前沿应用趋势关 键 学 科数学心理学信息与计算科学Gartner：生成式AI是当前炒作顶点在特定领域协助或主动完成某些任务。如驾驶、医疗对话等领域强于人类。具有可泛化的任务执行能力。可通过图灵测试，让人类误以为是人类，或通过大学考试。明显比人更有智慧，或解决问题能力明显超越人类，帮助解决危害人类的问题。GPT4迈进了AGI的门槛能否进化到下一阶段，存在争议2024年数字科技前沿应用趋势Math3月，在ChatGPT发布4个月后，GPT4正式发布，带来新的多模态识图能力演示，回答的准确性相比GPT3.5大幅提升了40%。其人类考试的成绩较GPT3.5大幅提升，达到Top 10%水平。11月6日，Open AI开发者日发布GPT-4 Turbo，允许用户上传资料，生成自定义的智能助理。同时开放应用商店，打造类似APP Store的应用生态。GPT4发布12家中国AI大模型首批备案通过8月31日起，12家大模型陆续通过生成式人工智能服务管理暂行办法备案。北京5家，百度“文心一言”、百川智能“百川”大模型、抖音“云雀”、中科院“紫东太初”、智谱“智谱清言”；上海3家，商汤“商量 SenseChat”、MiniMax“ABAB大模型”、上海人工智能实验室“书生通用大模型”；安徽1家，讯飞“星火”；浙江1家，阿里“通义千问”；（5）天津1家，360智脑；（6）广东1家，腾讯“混元”。11月，第二批大模型备案通过11家。至此，国内已形成一批初见水平的AI创业企业，如minimax、智谱、百川、月之暗面（moonshot）。全球高度关注AI治理11月1日，由英国倡议发起的首届“全球AI安全峰会”在伦敦布莱切利园开幕，布莱切利庄园是二战期间盟军破译密码的主要地点。会议首日，美国、中国、欧盟和大约20个国家共同签署了布莱切利宣言，重点在于识别人工智能产生的共同关注风险，建立对风险的科学认知，并制定跨国风险缓解政策。大事记chronicle of events文生视频文生图AGI多模态文本生成负责任的AIAgent可解释AI关键技术 点3年以上2-3年以上0-1年以上影响力中等影响力大影响力极大行业大模型代码生成MaaS数据来源：IDC2024年数字科技前沿应用趋势因果AI向量数据库端侧大模型合成数据蛋白质生成分子模拟多模态是人类世界的本来样貌，AGI的发展趋势一定是朝向多模态。技术将从单一的文本、图像、视频（2D和3D），再到声、光、电，甚至分子、原子等各类模态，而且具备跨模态迁移的特性。通过设计不同模态对应的解码器，可以实现多模态之间的切换。未来理想的框架是：“多模态的对齐和融合+统一的编码器和解码器”，可以更好地解决多模态的理解和生成任务。从专业单反到“傻瓜相机”超级“变形金刚”北大联合腾讯提出LanguageBind的多模态预训练框架。用语言作为与其它模态之间的纽带，冻结语言编码器，然后用对比学习方法，将各个模态映射到一个共享的特征空间，实现多模态数据的语义对齐。图读世界多模态大模型可以实现对图像和视频的理解，包括数量、类型、空间关系、人物、地点、事件、时间序列，以及图像中隐含的信息（如搞笑图、医学诊断等）。从LLM走向LMM多模态大模型百花齐放：Blip2、InstructBlip、LLaVA、VisualGLM、MiniGPT5、VideoLLaMA、ImageBind、Meta-Transformer、GPT4V、Gemini、Pika、Runway、混元、文心一言、ChatGLM、MiniMax等。多模态具有更突出的优势：带来了更灵活和友好的用户交互。是一个更完善的任务求解器，可以使用更多样化的任务类型。主要的实现方法：多模态指令、多模态上下文学习、多模态思维、LLM 辅助视觉等将LLM（大语言模型）和文生图相结合，让用户可以不必再学习复杂的Promot技巧，直接用日常语言提示，即可生成专业级的图片。这种方式，巧妙地利用了LLM的理解能力，进一步提升了文生图的效果。腾讯混元生成图片“醉后不知天在水，满船清梦压星河”由香港中文大学多媒体实验室和上海人工智能实验室 OpenGVLab联合开发的Meta-Transformer可以应用于许多应用领域，包括3D识别、夜间安全、天气预报等。2024年数字科技前沿应用趋势Google Gemini的演示Agent是指能够独立思考、自主行动并可以与环境交互的软件程序或机器人等实体。Agent包含三步：PPA，即感知(Perception)-规划(Planning)-行动(Action)。人工智能之父、图灵奖得主马文明斯基（Marvin Minsky）在1986年出版了一本里程碑式的著作思维的社会（The Society of Mind），试图解读人类思维这个复杂的过程。Minsky认为社会中的某些个体经过协商之后可求得问题的解，这些个体就是Agent。Agent应具有社会交互性和智能性。比尔盖茨撰文，表示AI Agent将是下一个平台，人工智能即将彻底改变人们使用计算机的方式并颠覆软件行业。在不久的将来，任何上网的人都将能够拥有由人工智能驱动的个人助手，远远超越今天的技术水平。Agent发展如火如荼LLM+Memory+Planning+Tool use对话式编程A Survey on Large Language Model based Autonomous AgentsAutoGen框架允许多个 LLM 智能体通过聊天来解决任务。LLM 智能体可以扮演各种角色，如程序员、设计师，或者是各种角色的组合，对话过程就把任务解决了。微软AutoGen发布短短两周内，星标量从 390 增到 10K，并在 Discord 上吸引了 5000 多名成员。在大模型的加持下，根据会话自动调用相关的插件调用更便捷以自然语言的方式完成插件、各类应用的开发和部署开发门槛更低每个人将能拥有由AI驱动的个人助手，无需再根据需求下载不同的APP，把需求告知代理即可AI时代的新入口Agent是主动释放LLM潜能的关键，让大模型从“有脑”到“有手有脚”2024年数字科技前沿应用趋势大模型正在向端侧转移，AI 推理将在在手机、PC、耳机、音箱、XR、汽车，以及其它可穿戴式新型终端上运行。目前，一些手机已经在利用本地 AI 支持如暗光拍摄、降噪和人脸解锁等功能。未来借助端侧大模型，并结合向量化后的各类个人数据，用户可以跟手机进行更流畅的交互，实现各种原生操作和功能。端侧大模型应用的三种可能：（1）端侧原生集成AI模型，类似siri，帮助用户调用其他软件，从而可能成为硬件新入口（2）将大模型作为独立app，例如MIT一位教授将开源模型集成在手机端做一个独立app；（3）将大模型接入即时通讯软件作为chatbot，例如Whats App已经集成了Meta AI。2024年数字科技前沿应用趋势新一代 Ray-Ban Meta AI 互动FSD V12或重启中国计划；自研DOJO超算架构提升大模型能力谷歌Pixel 8 Pro 发布了 AI Core 应用首个更新，Gemini发布端侧 Nano 版AI PIN等原生大模型终端试水手机终端新型终端智能车手机端侧大模型苹果AjaxGPT，性能超GPT3.5，PC上2000亿参数小米13亿和60亿参数，面向手机、汽车和机器人VIVO130亿蓝心大模型实现端侧跑通，开源7B大模型OPPO安第斯（AndesGPT），10亿参数荣耀魔方，70亿参数联想推出AI PC端侧大模型的主要优势：1.本地数据处理效率更高2.节省云端服务器带宽和算力成本3.对用户数据更好的隐私保护4.开启更多交互新方式、新体验高通骁龙8 Gen3 支持终端侧运行100亿参数的模型在AI技术的加持下，科学研究的效率大大增加。通过理论探索、设计实验、分析数据等方向为科学发现提供动力。AI与各个科学领域结合后，正在发生一场充满潜力和挑战的科技革命。文献阅读及问题提出数据优化和处理对现象和数据观察提出某种猜想；对既有文献的梳理，在此基础上提出新的研究问题，帮助科学家发现新问题。生成式AI与科研生成式AI成为基因科学的新引擎：生成式AI被用于预测基因序列、发现新的药物靶点以及设计新型的生物材料。数据分析和挖掘自然科学领域大模型DARWIN，是一个为物理、化学和材料科学应用而精心设计的专业化大语言模型（LLM），在多个科学任务中取得了最先进的结果，旨在通过人工智能驱动的自动化来增强和加快探索发现的过程。科研神器ChatPDF可以用十秒解析上万字的研究文献，分析文献结构、定位内容，提高阅读效率。AI文献阅读与问题提出数据优化处理数据分析挖掘科研大模型AI可以通过大量数据和复杂的数据分析，帮助提取有用信息和填补数据缺失，从而提高数据质量和利用效率。降低对数据的依赖。AlphaFold已预测出超过100万个物种的2.14亿个蛋白质结构，几乎涵盖了地球上所有已知蛋白质。AI可以帮助科学家预测蛋白质的结构，从而优化药物研发过程。麻省理工学院（MIT）的研究人员开发出一种扩散模型FrameDiff，该模型能够生成自然界中不存在的新型蛋白质结构。该模型可以生成多达 500 个氨基酸序列的蛋白质主链，且无需依赖于预训练蛋白质结构预测网络。菲尔兹奖得主，数学家陶哲轩认为，预计如果使用得当，到 2026 年，AI 将成为数学研究和许多其他领域值得信赖的合著者。AI成为生命科学新引擎 基因数据分析 蛋白质表达及测量 基因序列分析2024年数字科技前沿应用趋势一篇用GPT证明数学定理的论文引发巨大关注随着大模型，尤其是LLM成为人机交互的新界面，并涌现出强大的推理和内容生成能力，大模型的价值对齐日益成为一个关键问题，即让大模型的能力和行为跟人类（使用者）的价值、伦理原则和真实意图相一致，确保人类与人工智能协作过程中的信任与安全。业界和研究人员已在探索实现大模型价值对齐的技术和治理措施，诸如人类反馈的强化学习（RLHF）、宪法 AI（Constitutional AI），可扩展监督（如AI监督）、模型可解释性等，以构建更加安全可靠且有用的大模型。未来对齐技术的发展，需要更好将人类监督和AI监督结合起来。RLHF是当前比较有效的对齐技术RLHF包括初始模型训练、收集人类反馈、强化学习、迭代过程等几个步骤，其核心思路是要求人类训练员对模型输出内容的适当性进行评估，并基于收集的人类反馈为强化学习构建奖励信号。AI对齐的多种技术和治理措施2024年数字科技前沿应用趋势训练数据干预构建价值对齐的专门数据集。对训练数据进行记录，以识别是否存在代表性或多样化不足的问题。对训练数据进行人工或自动化筛选、检测以识别、消除有害偏见。可解释、可理解的大模型为了实现AI价值对齐，人们需要理解人工智能如何作出决策。例如OpenAI利用GPT-4来针对其大语言模型GPT-2的神经网络行为自动化地撰写解释并对其解释打分；有研究人员则从机制解释性（mechanistic interpretability）的角度来应对AI对齐问题。红队测试在模型发布之前邀请内部或外部的专业人员，对模型发起各种对抗攻击，以发现潜在问题并予以解决。基于检索或外部工具的对齐将要对齐的价值观保存为一个外部模块，大模型回复时需要检索出要对齐的价值观并作出合适的回复。通过外部工具（搜索引擎、代码编译器、计算器等）辅助回复的生成，以确保生成内容的真实性。凝聚行业共识，推动形成大模型价值对齐的技术和伦理指南，总结推广最佳实践。鼓励开放研究，支持关于AI安全性、公平性、可解释性、价值对齐和其他伦理议题的研究，并鼓励研究者公开其研究结果，促进全球社区协作。将人类监督和AI监督更好地结合，当下的AI价值对齐工作还面临一个关键问题，即在人类的智能基本保持不变的前提下，随着AI能力持续提升，人类自己对前沿AI模型的有效监督将变得越来越困难。因此，为确保AI安全，需要使我们监控、理解、设计AI模型的能力与模型本身的复杂性同步发展。例如，OpenAI成立超级对齐团队，核心是希望探索利用AI来帮助人类解决比人类强大的AI系统的价值对齐问题。基于自然反馈对齐的探索：这是更天然的强化学习方式，如传言Open AI的Q*，一方面突破了人类数据的限制，可以自己生产海量训练数据，另一方面，模型具备了自主学习和自我改进的能力。2024年数字科技前沿应用趋势大模型0102灵巧操作03趋势要点根据工信部印发人形机器人创新发展指导意见，人形机器人集成人工智能、高端制造、新材料等先进技术，有望成为继计算机、智能手机、新能源汽车后的颠覆性产品，将变革人类生产生活方式，重塑全球产业发展格局。特别是在关键技术突破方面，打造人形机器人“大脑”和“小脑”、突破“肢体”关键技术、健全技术创新体系。2023年以来，基于视觉-语言的大模型嵌入机器人本体，加速思考（“感知脑”）和执行（“灵巧手”）突破，推动机器人迈向智能化带来新的可能。在思考能力层面，大模型的嵌入极大提升机器人感知环境、分解任务、规划流程以及与环境交互的能力。同时，云边结合的分布式计算平台发展，强化了机器人的训练和分析决策速率。在执行层面，以灵巧手为代表的关键技术，进一步强化了人形机器人末端执行应用能力，集中体现在微操作、近操作等环节。随着视听触多模态、端侧算力、运动控制技术的进步、人形机器人技术将加速迭代，走向更柔性、更智能、更灵巧。AI加速人形机器人“手、脑”进化多训练平台大模型的嵌入极大提升机器人分解任务、规划子任务，与环境交互的能力多感知、多自由度功能融合、微型驱动器产业化，强化了机器人的微操作、近操作能力云边结合的分布式计算平台发展，强化了机器人的训练和分析决策速率2024年数字科技前沿应用趋势关键学科、行业趋势、典型事件关键学科材料和工程机器人学机器学习Markets and Markets对人形机器人市场预测，市场规模将从2023年的18亿美元增长到2028年的138亿美元，其复合年增长率可达50.2%。高盛预测在最理想的情景下（产品设计、用例、技术、可负担性和公共接受度等障碍被克服），2035年人形机器人市场或将达到1540亿美元。人形机器人市场规模2028年有望增长到138亿美元7月，李飞飞团队发布最新成果VoxPoser具身智能技术，可以使机器人直接听懂人类的自然语言指令并完成复杂任务，无需额外的数据和训练。0预训练完成复杂指令特斯拉擎天柱再次升级人形机器人Optimus快速迭代，商业化进程持续推进。特斯拉擎天柱的力控能力、抓取复杂物体的能力、利用FSD技术的视觉感知和处理能力。多家科技公司布局具身智能OpenAI投资了人形机器人公司1X，英伟达CEO黄仁勋也公开唱多“具身智能”。微软基于ChatGPT 自然语言理解和推理能力，生成控制机器人的相关代码。腾讯通过将预训练 AI 模型和强化学习技术应用到机器人控制领域，使得Max能够在复杂环境中展现出栩栩如生的运动行为，并学会障碍追逐比赛的智能策略。大事记chronicle of events2023工业和信息化部关于印发人形机器人创新发展指导意见的通知，部署到2025年，人形机器人创新体系初步建立，“大脑、小脑、肢体”等一批关键技术取得突破。国家政策支持创新体系建立（资料来源：Markets and Markets，2023）2024年数字科技前沿应用趋势关键技术点及成熟度云-边端协同计算机器人视觉云端计算文本分析边缘计算LLM+机器人认知学习多模态感知内置微型驱动器交互式AI关 键 技 术 点3年以上2-3年以上0-1年以上影响力中等影响力大影响力极大目前技术还在发散期，未来3-5年将进一步收敛多感知多自由度灵巧手端到端大模型实现站立、行走；有一定的手部能力主动识别、感知0-code、自然语言交互感知层可用大模型控制预制编程自进化、自学习实现奔跑、跳跃有听觉、视觉传感器复杂地形行走、多模态传感器，可用AI控制手眼协调端到端控制1848年，图灵在“机器智能”的文章中，首次提到“嵌入式智能（肉体智能）”（embodied-intelligence）和“非嵌入式智能（无肉体智能）”（disembodied-intelligence）”，这被公认是“具身智能”概念的首次提出；值得注意的是，1950年这两个核心概念进一步发展为“智力”和“体力”，进一步将AI和机器本体做了区分。从Wabot-1开始，机器人的“硬件”和“软件”技术开始了各自发展到相互融合的螺旋上升，研发主体从AI和机器人本体两条路线逐渐汇聚。当前，以特斯拉Tesla-bot为代表的一系列人形、AI机器人颇受瞩目。具身能力是这一阶段机器人的技术前沿布局方向。代表性机器人：Wabot-1代表性机器人：波士顿动力Atalas特斯拉Gen-1、Gen2傅里叶GR-1、宇树H1、小鹏PX-5代表性机器人：Asimo2024年数字科技前沿应用趋势趋势要点1：大模型在文本、自然语言和视觉领域