当前位置:首页 > 运营类 > 基于阿里云弹性高性能计算集群的数组作业解决方案

基于阿里云弹性高性能计算集群的数组作业解决方案

微信用户12个月前 (07-07)运营类684

使用EHPC实现“完美并行”的高效批处理方案

在高性能计算场景中,用户一次业务计算可以划分为大量的任务,每个任务的处理逻辑相同,但是输入文件、参数设置和输出文件不同。由于每个任务处理逻辑相似,执行时彼此没有依赖,按照高性能计算的并行计算模式,可归为 “ ”一类(又被称为完美并行问题),这类问题很少或根本不需要将问题分成许多并行任务的工作,通这些并行任务之间很少或没有依赖或需要通信,这类问题有一个另外的名称,叫做“批处理”,是高性能计算领域最“完美”的一种场景。在此,给出了基于阿里云弹性高性能计算场景的数组作业解决方案——利用E-HPC集成的作业调度系统,将用户的批处理任务自动分配到数组作业,实现在云超算集群上高并发执行。同时,依靠“云”弹性,动态扩展集群的计算资源,控制批处理的完成时间。

背景介绍

本节先通过一个示例介绍批处理的场景,然后讨论高性能计算集群以及数组作业。

批处理

在高性能计算领域中,存在大批量、可同时处理的计算场景,如以下应用场景,不同任务均使用应用程序,但是每个任务处理不同的输入文件(--bam-list)、不同的参数(-r)和不同的结果文件(--vcf)。由于作业量巨大,需要任务的并发执行,以缩短任务处理时间。

并行审批流程图_并行审批是什么意思_批处理

高性能计算集群与数组作业介绍

高性能计算集群是将大量的计算节点通过网络互联,进行统一的管理和调度,为大规模应用运行提供计算环境,包括账号管理、调度管理、文件系统、集群监控等模块。

由于集群包含大量计算节点,通常为多个用户共同使用,每个用户可以提交多个作业,每个作业需要一个或多个计算节点。集群资源的分配是由调度管理协调,以避免资源使用冲突,常用的调度管理软件包括PBS,Slurm,SGE,LSF等。

数组作业是一组作业的集合,可以执行一条提交作业的命令,提交作业集合中的所有作业,每个作业用各自的index取值进行区分。

如使用PBS调度器提交1个数组作业,文件名为 qjob.sh,内容如下:

#!/bin/bash
#PBS -N arrjob # 作业名称
#PBS -l nodes=1:ppn=1 # 每个作业需要1个计算节点,每个节点1个核的资源
#PBS -J 1-3 # 数组作业的作业编号为1,2,3
echo $PBS_ARRAY_ID # 每个作业的编号在PBS_ARRAY_ID 环境变量中

qjob.sh脚本定义了一个数组作业,包含3个作业。作业编号范围用-J指定,取值为1-3。在具体作业执行时,每个作业的编号通过环境变量$获取。通过以下命令就可以提交qjob.sh 作业:

qsub ./qjob.sh

此时,创建了3个作业,而作业能否立刻执行,需要调度器根据集群空闲资源和作业的资源需求来定。若资源充裕,3个作业可以同时运行。

使用数组作业解决批处理任务

从批处理和数组作业介绍看,数组作业适用批处理计算的场景,但做到简易使用,还存在以下问题:

批处理任务与作业的对应关系?当任务数量巨大时,是一个任务就是一个作业,还是一个作业包含多个任务?如何从$到不同任务的关联?并能够方便对应不同任务的不同参数?如何跟踪任务的执行情况?如何方便查看任务日志?在个别任务执行失败后,如何能够快速的筛选,并在调整后重新执行?

为此,我们给出使用数组作业解决批处理的方案,包括批处理任务到作业分配、批处理任务定义和任务运行及追踪功能。

批处理任务到作业分配

当批处理任务数目巨大时,如果每个任务都分配一个作业,调度器的负载就加重,虽然调度器能够显示不同作业的运行状态,作业数目过大,也会导致查看不方便。此外,相邻任务在一个节点执行,如果使用相同文件,可以重用节点的本地缓存。

为此,若任务数为Nt,作业数为Nj,每个作业处理的任务数为 Nt/Nj,如果不能整除,作业编号小于Nt%Nj的作业多处理一个任务。如之上批处理任务,如果Nt/Nj=2,但不能整除,作业编号小的作业会处理3个任务,而编号大的作业,会处理2个任务。

并行审批是什么意思_批处理_并行审批流程图

批处理任务定义

从批处理任务示例中我们可以看出,每个任务进行部分参数不同,若将这些变化的部分用变量代替,则批处理任务的处理脚本为(存放在文件 task.sh中):

$ cat task.sh
#!/bin/bash
echo "process $bamlist and $chrvar"
#other shell commands 如通过cd $bamlist 
freebayes --bam-list $bamlist -r $chrvar --vcf /home/user/result/out-$bamlist.vcf
ret=$? # 保留主要程序的退出状态
# other shell commands
# ... ... 
exit $ret # 任务执行状态,0为成功,非0表示失败

其中,用$表示 --bam-list 选项的变化取值和--vcf参数取值的变化部分,用$表示 -r选型的变化取值。

将具体变化的取值,存储在变量名同名的文件中,每一行代表不同的取值,示例中有2个变量,因此需要两个文件——和。

$ cat bamlist
bam1_100
bam101_200
bam201_300
bam301_400
bam401_500
bam501_600
bam601_700
bam701_800
bam801_900
... ...
bam901_1000
bam1001_1100
$ cat chrvar
chr01:1-1000
chr01:1001-2000
chr03:100-200
chr12:1000-2000
chr02:100-1100
chr03:1000-2000
chr05:1000-2000
chr08:1000-2000
chr08:3000-6000
... ...
chr01:8000-9000
chr06:1000-2000

任务运行与追踪

在批处理任务定义后之后,需要实现任务与作业映射、变量文件的解析和赋值。这些通用功能,E-HPC提供了.py 脚本,进行处理,数组作业的脚本名若为qjob.sh,其内容为:

$ cat qjob.sh
#!/bin/bash
PBS -N bayes.job
#PBS -l nodes=1:ppn=1
#PBS -J 1-Nj
cd $PBS_O_WORKDIR # 表示打开提交作业的目录。
python ehpcarrayjob.py -n Nj -e ./task.sh bamlist chrvar

通过qsub命令提交到集群上,有PBS进行调度,实现批量执行(其中Nj为作业的数目,根据需求进行替换)。

$ python ehpcarrayjob.py -h
usage: ehpcarrayjob.py [-h] -n NJOBS -e EXECFILE argfiles [argfiles ...]
positional arguments:
 argfiles
optional arguments:
 -h, --help show this help message and exit
 -n NJOBS, --njobs NJOBS
 number of jobs
 -e EXECFILE, --execfile EXECFILE
 job command file

其中:

-n表示有多少个作业

-e指明每个任务的处理脚本(需要带路径)

一个或多个,指定多个参数文件。

作业提交后,数组作业会分配一个作业id,如“1[].”,每个子作业都有自己的子作业编号,如从1-Nj。

.py会生成以”作业id“为名的目录(如1[].),每个子作业在该目录下有“log.子作业编号”命名的日志文件,记录每个作业的执行情况。

当任务的返回作状态为非0(失败)时,会将任务变量的取值在”作业id“目录下记录到名为”fails.变量名.子作业编号“的文件中。待确定失败原因,修改处理脚本后,方便重新提交作业。

总结

站在用户的角度,每次数值计算任务来了,除了要划分好批量的任务,即使有遗留的脚本,还需要改写每个任务的处理脚本。

此外,还要面对以下运行场景的问题:

​ 这次计算需要多少资源?

​ 到那里找这些资源?

​ 任务能运行起来吗,出错了怎么找原因?

​ 任务会不会重算、漏算?

​ 机器利用能不能衔接上,会不会出现长时间空闲?

使用阿里云弹性高性能计算(E-HPC)的批处理处理方案可以解决以上问题,让工作更专注。

可以看出,借助E-HPC方案用户仅需要通过以下几个步骤:

将批处理任务中变化的取值提取出来,单独存储到一个文件中,文件名符合shell规范,如, 。编写任务处理的脚本,使用变量名(文件名同名)替换任务中的变化取值,如task.sh。编写数组作业脚本,指明每个作业的资源需求,总作业数,调用 .py启动批处理任务执行,如qjob.sh。

用qsub提交作业,进入”作业id“的目前查看任务处理进度以及又问题的任务列表。作业的运行状态根据集群的资源状态进行判断,如果集群节点充足,所有作业均可以运行;如果资源不满足,少量作业可以先执行。

同时E-HPC“云”超算方案还有以下优势:

具备HPC集群原有特性,方便用户登陆集群进行编译和调试单个任务的处理逻辑,并通过E-HPC内置应用级监控模块集谛进行监控、分析、优化应用运行行为。借助E-HPC,可以直接将配置好的环境扩展到新加的计算节点上。同时,使用低配置的登陆和管控节点长久保留已配置环境。根据当前的任务处理效率,在“云”上动态地更换计算实例类型,并扩充计算资源来调整任务的处理时间,以应对紧急的任务处理。

免责声明
    本网站在国家相关法律法规规定的范围内,只按现有状况提供文章发布第三方网络平台服务,本网站及其所有者非交易一方,也非交易任何一方之代理人或代表;同时,本网站及其所有者也未授权任何人代表或代理本网站及其所有者从事任何网络交易行为或做出任何承诺、保证或其他类似行为,除非有明确的书面授权。
    鉴于互联网的特殊性,本网站无法鉴别和判断相关交易各主体之民事权利和行为能力、资质、信用等状况,也无法鉴别和判断虚拟交易或正在交易或已交易之虚拟物品来源、权属、真伪、性能、规格、质量、数量等权利属性、自然属性及其他各种状况。因此,交易各方在交易前应加以仔细辨明,并慎重考虑和评估交易可能产生的各项风险。

扫描二维码推送至手机访问。

版权声明:本文由点度点度金讯时代-BLOG发布,如需转载请注明出处。

本文链接:https://www.lmwmm.com/post/1144.html

分享给朋友:

“基于阿里云弹性高性能计算集群的数组作业解决方案” 的相关文章

《暗黑破坏神:不朽》肝爆要10年,氪金更是...

《暗黑破坏神:不朽》肝爆要10年,氪金更是...

6 月初,暴雪出品的手游《暗黑破坏神:不朽》(以下简称《不朽》)“终于”于国际服上线,由于“那个”知名的梗,国内玩家都翘首以盼着它能有什么表现。当然,渴望着它能翻身的算少数,许多人还是想看个笑话。看笑话的成了,无奈中带着些许的滑稽。截至 6...

太平洋电脑网PConline宣布将关停论坛

太平洋电脑网PConline宣布将关停论坛

站长之家(ChinaZ.com)5月15日 消息:太平洋电脑网(PConline)宣布将于2023年5月20日关闭太平洋电脑网论坛入口。太平洋知科技APP正常运营,不受影响。具体下线时间安排如下:1、2023年5月20日,关闭入口。2、20...

ChatGPT开始替代主播,“薇娅们”要失业了?

ChatGPT开始替代主播,“薇娅们”要失业了?

2023 年,数字人直播彻底火了。根据艾媒咨询的统计,2022 年一年虚拟主播(数字人)企业注册增加数就高达 948 家,增速达 68 %。而数字人直播的成效也非常诱人:月薪 2 万的真人主播,换上一个数字人主播,一年就能省十万的成本;不用...

无锡软件开发-无锡软件开发公司-软件制作-软件外包-专业软件定制开发

无锡软件开发-无锡软件开发公司-软件制作-软件外包-专业软件定制开发

在当今数字化时代,软件行业的发展如火如荼,企业的商业模式也在不断变革。在这种情况下,许多企业都需要通过定制软件来满足其独特的需求。无锡禾沐网络科技有限公司是一家专业的软件开发公司,我们拥有多年的经验和专业知识,可以为您提供高质量的软件开发服...

一文讲透如何把ChatGPT融入工作和生活?

一文讲透如何把ChatGPT融入工作和生活?

最近几个月,ChatGPT无疑成为了当前最热门和最令人兴奋的话题,没有之一。ChatGPT于2022年11月发布,并在2023年3月份推出了基于GPT-4的全新版本。ChatGPT是一种基于深度学习技术的自然语言处理模型,能够适用于广泛的语...

这些Chatgpt提问技巧,让我直呼厉害!

这些Chatgpt提问技巧,让我直呼厉害!

Chatgpt提问技巧Q&A之前给大家介绍过《还不会用ChatGPT写工作总结?我教你啊~》(点击左边文字可阅读)于是最近,很多朋友在后台问小觅知,“提问不知道为什么获得回答很离谱”“用Chatgpt类的工具生成的周报内容不理想”所...