从CADD到AIDD,通过高性能计算资源进行虚拟药物筛选、分子对接、蛋白结构预测等工作,进而缩短研发周期、降低研发成本,已经成为生物医药行业的重要发展趋势和研究课题。与此同时,随着云计算的飞速发展以及“超算云”、“云超算”等概念的兴起和逐步落地,也为高性能计算赋予了更高的弹性、可扩展性、稳定性、安全性以及性价比。
因此,高性能计算目前被越来越多的企业和机构所接受,Hyperion Research的2022年度HPC市场报告就显示,生物医药相关企业机构的CLOUD HPC市占比超过30%,也进一步证明了高性能计算是生物医药行业未来发展的核心驱动力之一。
生物医疗领域应用高性能计算的四大难题
在生物医疗领域,高性能计算的应用落地并非一片坦途,面临着四大挑战:
• 第一,无论是生信分析还是新药研发,都需要进行大量的分子仿真和结构预测,由此产生的海量计算和波动,对算力以及弹性都提出了更高的要求;
• 第二,生信分析拥有大量高并发场景,因此,在同时处理上万个样本的场景中,存储吞吐既要高速又要稳定;
• 第三,对于生物医疗领域来说,如何减轻高性能计算所带来的运维压力、降低运维成本,也是企业和机构所关注的核心问题;
• 第四,由于生信医药领域的业务特性,不同的工作负载对计算资源的需求各不相同,也需要更灵活自由的计费方式,以降低总拥有成本。
那么,在生物医疗企业、机构应用高性能计算的过程当中,如何在破解上述四大挑战的同时,完成降本增效的目标?
火山引擎VECTOR:一站式云上高性能计算服务
火山引擎VECTOR
聚焦生物医药领域的计算特性和需求,火山引擎以生信操作系统 Bio-OS 为核心,推出了 VECTOR(Volcano Engine Cluster Orchestrator) 高性能计算解决方案。结合火山引擎在计算、存储、网络等方面的技术优势,提供弹性、高效、简易的一站式云上高性能计算服务,帮助生物医药企业和机构降本增效:
• 弹性灵活的计算资源:VECTOR 可以根据业务负载自动调整计算节点,高峰期可无缝扩展数倍算力,平缓期自动缩减规模节约成本,保证研发进度不受影响;
• 高性能存储支撑大规模并行计算:VECTOR 可以为每一个计算节点配备高性能存储,可以实现毫秒级延迟、GB/s级吞吐,满足海量并发访问需求;
• 简化运维降低管理成本:通过 VECTOR 统一的集群管理模块,可自动完成部署、配置、监控等工作,实现集群的无人值守运维,极大降低管理维护成本;
• 自由选型降低总体拥有成本: VECTOR 支持多种计费模式,包括包年包月、按需计费、竞价实例等,可根据工作负载弹性选择资源类型和计费方式,降低高性能计算的总体拥有成本。
火山引擎VECTOR的场景化落地实践
目前,火山引擎 VECTOR 已经经过了大规模的市场验证,正在为生信医疗企业及机构提供聚焦场景化的高性能计算服务:
• 助力AIDD公司快速实现药物研发计算
“AI for Science” 领域的某领先企业,致力于运用人工智能和分子模拟算法,结合先进手段求解重要科学问题,为生物医药、能源、材料和信息科学与工程研究,打造新一代微尺度工业设计和仿真平台。但由于分子模拟算法对算力等资源呈线性依赖,因此在底层资源调度、算法优化等方面遇到了不小的挑战:
计算任务多、波动大,需要底层平台提供灵活高效的弹性调度能力;
需要进行大模型、大内存训练;
需要读取海量非结构化文件数据。
借助火山引擎 VECTOR 所提供的科学计算解决方案,该企业可根据业务流量自动弹性扩容,并可以自动采集各节点健康状态,制定相应自愈策略,实现智能运维。当节点不可用时,还可以替换和重新调度节点上的容器,为业务平稳健康运行提供保障。
此外,火山引擎云基础产品,也为该企业提供可弹性伸缩的加速计算服务器GPU,挂载高性能的文件服务集群以及超高并发吞吐的并行文件存储,赋能其专注于核心业务发展,加速药物设计研发。该企业与火山引擎携手,通过技术互补,形成了一条完整的生态链路,为制药企业、CRO提供基于人工智能、物理建模和高性能计算的新一代药物计算设计平台。
• 助力医学检验所提速样本检测
作为医疗健康内容与服务平台,某医学检测所聚焦医疗服务场景,依托互联网平台渠道,每天可触达上千万的真实用户,为用户提供公立机构、医疗企业、基层医疗单位的医疗服务对接。在为数百张肿瘤床位患者提供生信分析服务时,常常在加急处理的需求中,遇到资源难以扩充、存储性能瓶颈、计算成本居高不下等难点和挑战:
当业务洪峰时,经常遇到数倍的分析任务待处理,集群无自动弹性扩缩能力,遇到排队积压的情况;
并行处理样本时,存储读写性能拖慢整体分析时间,业务响应慢;
整体集群搭建和维护成本过高,前场业务缺乏价格优势。
通过火山引擎 VECTOR 作为高性能HPC集群的解决方案,在面临业务高峰时,通过 VECTOR 提供自动弹性的扩容能力,解决数倍计算任务并行处理的难题,当业务量下降,集群节点即可自动销毁、减少节点数量,降低计算成本。Spot实例通过更高的性价比,让该所获得了充足的计算资源。
该所技术负责人表示,通过火山引擎 VECTOR,我们不仅提升了检测效率,还节省了约30%的IT运行成本。
• VECTOR 支撑重点实验室科研计算
通过先进的实验设备和技术平台,某重点实验室面向各种实验需求,开展前沿的基础科学研究和应用技术研发,其研究成果在学术界和工业界都具有较高影响力。为了更好地加速科研孵化,实验室对计算资源的提供速度,资源类型的多样性、性能表现都提出了更高的要求:
计算资源需要满足科研人员有数即算,即开即用的场景。且需要提供预配置好的VASP、Gromacs等工具软件、供科研人员快速使用;
用户需要一套集群跨多个可用区分布,避免单可用区资源耗尽导致任务卡顿;
用户需要多类型资源。在规格及计价方式上,希望有更多选择,更便宜的计费,降低整体计算开销;
用户对性能有严格要求,需要测试不同芯片类型与任务类型的性能表现,精心挑选最优计算选型。
目前,该实验室已经将火山引擎 VECTOR 应用于材料模拟和计算物质等科研场景中。通过 VECTOR 的跨可用区能力,实验室可以完全利用公有云算力。此外火山引擎还提供集群的扩缩容维护升级、应用软件的安装部署升级等运营维护服务,减轻科研人员负担,让他们可以更加专注于科研的工作当中。
为求解最佳ECS资源型号和芯片性能,火山引擎还基于该实验室所提供的4套测试数据集进行测试,实测得出最匹配应用场景的ECS资源型号,使时间优化91.13%,成本仅为基线的45.57%。未来,火山引擎将通过 VECTOR 更好地支撑实验室对科研成果的研究转化,催化更多的学科突破和技术创新。
火山引擎VECTOR 为生物医药领域提供了可靠、灵活、经济的高性能计算解决方案,将极大缩短研发周期,降低研发与IT成本,助力生物医药企业创新发展。未来,依托不断优化的云计算基础资源,高性能计算技术将持续释放生物医药创新的潜能,推动健康领域持续发展。