温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Python移动测试开发subprocess模块怎么使用

发布时间:2022-08-16 17:34:37 来源:亿速云 阅读:144 作者:iii 栏目:开发技术

这篇文章主要讲解了“Python移动测试开发subprocess模块怎么使用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python移动测试开发subprocess模块怎么使用”吧!

一、背景

我们日常测试中存在大量重复的造数操作,且流程较长,为了提升测试效率,我们搭建了数据构造平台。平台采用了前端 + 脚本分离的形式,数据构造脚本独立存在,页面和脚本的关联关系通过页面配置进行绑定。

页面配置中,包含了脚本的路径以及启动命令,因此,运行脚本的时候需要在服务器上启动子进程中去执行脚本命令。为了能够了解脚本的执行情况,还需要获取脚本的执行状态以及执行日志。

平台后端语言是 Python,因此,选择了 Python 中的 subprocess 模块,本文重点阐述 subprocess 模块在项目实战中遇到的问题以及解决方案。

本文涉及的程序执行环境如下:

Python 版本:3.8.3

操作系统:windows server

二、subprocess 模块基础

subprocess 模块允许我们启动一个新进程,并连接到它们的输入/输出/错误管道,从而获取返回值。subprocess 模块首先推荐使用的是它的 run 方法,更高级的用法可以直接使用 Popen 接口。

1. subprocess.run 方法

subprocess.run() 方法是 3.5 版本新增的,用于可以接受等待进程执行结束后获取返回值的场景,如果可以满足使用需求,官方推荐使用 run() 方法。
subprocess.run() 的执行过程是同步的,脚本执行结束之前是阻塞的,只有脚本结束之后才会返回 subprocess.CompletedProcess 对象。

2. subprocess.Popen 方法

subprocess.Popen() 是 subprocess 的核心,子进程的创建和管理都靠它处理。Popen() 相当于 run() 的高级版本,更加灵活,使开发人员能够处理 run() 方法未涵盖的更丰富的场景。subprocess.Popen() 是异步的,进程启动以后,我们可以通过预先指定好的 stdout 和 stderr 来实时读取到子进程的输出。

subprocess.Popen()常用参数介绍:

args:shell命令,可以是字符串或者序列类型(如:list,元组)

stdin, stdout, stderr:分别表示程序的标准输入、输出、错误句柄

shell:如果该参数为 True,将通过操作系统的 shell 执行指定的命令,args只能是String类型的参数;该参数为False,args可以是序列类型。

Popen 对象常用方法:

poll(): 检查进程是否终止,如果终止返回 returncode,否则返回 None,项目中通过该方法返回判断进程是否执行结束。

wait(timeout): 等待子进程终止,如果进程执行时间较长,可以使用该方法来保证进程执行完整。

communicate(input,timeout): 和子进程交互,发送和读取数据。

send_signal(singnal): 发送信号到子进程 。

terminate(): 停止子进程,也就是发送SIGTERM信号到子进程。

kill(): 杀死子进程。发送 SIGKILL 信号到子进程。

3. run 与 Popen 的同步/异步对比实验

Run() 和 Popen() 同步/异步的简单对比如下:

Python移动测试开发subprocess模块怎么使用

Python移动测试开发subprocess模块怎么使用

从执行结果可以看出,Popen 在子进程执行过程中就可以获取到日志,run 需要等待进程执行完成才能获取到日志。如果需要执行的命令耗时很短,可以选择 run 方法。因为我们的数据构造流程通常比较长,需要实时获取日志,所以选择了 Popen。

三、遇到的问题与解决方案

在使用 Popen 的过程中也遇到了一些问题,下面将具体介绍一下遇到的问题以及解决方案。

如何保证获取到完整的进程执行日志

subprocess.Popen() 可以获取到执行过程中的日志了,那我们如何保证进程日志获取的完整性呢?我们来看下具体方案:

方案一:这是我们最开始采用的方案。通过获取方法 poll() 返回的状态码来检查进程是否终止。如果终止,返回 returncode,否则返回 None,代码如下:

Python移动测试开发subprocess模块怎么使用

该方案在使用的过程中存在问题。当子程序已经执行完毕,日志还没有获取完整,会出现日志接收不全的情况。为了解决这种问题,保证日志的完整性,我们选择通过判断日志是否读取完毕作为判断依据,详细参见方案二。

方案二:通过判断日志是否读取完毕保证日志完整性。代码如下:

Python移动测试开发subprocess模块怎么使用

这种方法看似解决了日志不全的问题,但是存在着一定的风险。日志为 None 无法有效保证子进程执行结束(虽然经过多方实践,暂时没有发现日志为 None 但脚本未执行结束的情况)。为了安全起见,我们还是需要兼顾一下进程的执行状态,具体参见方案三。

方案三:通过判断 poll() 返回状态和日志返回值,也就是说,程序状态结束且返回对象为空,才表示子进程已经执行结束,并且获取到了完整的日志,代码如下:

Python移动测试开发subprocess模块怎么使用

该方案已经比较完善了,通过子进程执行结束并且执行日志为 None,保证执行日志的完整性。美中不足的是,日志信息可能会比实际的多一些,当输出先读取完毕,子进程还没有结束,我们会获取到一部分空行,为了日志的美观度,我们可以进一步优化,获取日志的时候,过滤掉空行,代码如下:

Python移动测试开发subprocess模块怎么使用

通过判断输出流和进程的执行状态,完美的解决了上面的问题,保证了日志的完整性与正确性。

如何保证脚本进程正常终止 当脚本执行以后,我们可能会因为某些原因想终止脚本的运行,如参数错误等。 在我们项目代码中,使用 Popen.terminate() 去终止进程的时候,发现命令只终止了父进程,唤起的子进程仍然在执行。

为了找到原因,先看一下项目中创建 Popen 的代码:

Python移动测试开发subprocess模块怎么使用

参数介绍的时候提到过,shell 为 True 或 False 时,command 的类型是有要求的。因为我们 command 传值是 String 类型,参数 shell 只能设置为 True。当 shell=True 的时,程序会创建一个 shell 进程,command 是 shell 进程的子进程。

我们再来看下 Popen.terminate() 做了什么?官方的说明如下:

Stop the child. On POSIX OSs the method sends SIGTERM to the child. On Windows the Win32 API function TerminateProcess()is called to stop the child

也就是说,在 POSIX 系统中,该方法会发送 SIGTERM 信号给子进程;

在 Windows 系统中,该方法会调用 Win32 提供的 API TerminateProcess() 方法。

原因很清晰了,当 shell=True 的时候,发送 SIGTERM 能够杀死 shell 进程,但是无法杀死它的子进程(command);windows 系统中同理,TerminateProcess() 杀死了 shell 进程,却没有杀死它的子进程(command)。

解决方案如下:

方案一:比较优雅的方式,创建 Popen 对象时,将参数 shell 设为 False。实践发现,当 shell=False 的时候,Popen.terminate() 方法的执行结果是符合预期的;

subprocess.Popen(command, shell=False)

前面提到过,因为 command 格式问题,在我们项目中,shell 只能设置为 True,所以我们又探索了新的解决方案。

方案二:手动终止进程。使用第三方工具包 psutil,获取全部的子进程并逐一杀掉,该方法在 Linux 和 windows 平台通用。代码见下图。

Python移动测试开发subprocess模块怎么使用

在 windows 服务器下,还可以用以下命令:

taskkill /t /f /pid {pid},强制杀掉指定进程以及它的子进程。

windows 平台的方案无需第三方依赖,所以我们项目中选择了该方案,项目代码如下:

Python移动测试开发subprocess模块怎么使用

感谢各位的阅读,以上就是“Python移动测试开发subprocess模块怎么使用”的内容了,经过本文的学习后,相信大家对Python移动测试开发subprocess模块怎么使用这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI