从红宝石外部进程的STDOUT连续读取(Continuously read from STDOUT

2019-06-17 11:48发布

我想通过一个Ruby脚本,然后将处理由搅拌机线给出一行来更新GUI的进度条输出运行命令行搅拌机。 这不是真正重要的是搅拌器外部进程,其标准输出我需要阅读。

我似乎无法能够赶上进度消息搅拌机正常打印到shell时搅拌机进程仍在运行,并且我已经尝试了一些方法。 我似乎总是进入搅拌机的标准输出搅拌机已退出之后 ,而不是在它仍在运行。

下面是一个失败的尝试的例子。 它获得和打印首25行搅拌机的输出,但搅拌器进程已退出后,才:

blender = nil
t = Thread.new do
  blender = open "| blender -b mball.blend -o //renders/ -F JPEG -x 1 -f 1"
end
puts "Blender is doing its job now..."
25.times { puts blender.gets}

编辑:

为了使它更清晰一点,命令调用搅拌机还给在外壳输出流,表示进度(已完成部分等1-16)。 似乎任何呼叫“被”输出被阻断,直到搅拌机退出。 问题是如何获得访问该输出,而搅拌机仍在运行,如搅拌机打印其输出壳。

Answer 1:

我已经解决我的这个问题取得了一些成功。 下面是详细信息,有一些解释,在具有类似的问题情况下,任何人发现这个页面。 但是,如果你不关心细节, 这里的答案很简单

使用PTY.spawn以下方式(用自己的课程命令):

require 'pty'
cmd = "blender -b mball.blend -o //renders/ -F JPEG -x 1 -f 1" 
begin
  PTY.spawn( cmd ) do |stdout, stdin, pid|
    begin
      # Do stuff with the output here. Just printing to show it works
      stdout.each { |line| print line }
    rescue Errno::EIO
      puts "Errno:EIO error, but this probably just means " +
            "that the process has finished giving output"
    end
  end
rescue PTY::ChildExited
  puts "The child process exited!"
end

这里的长的答案 ,有太多的细节:

真正的问题似乎是,如果一个进程没有明确刷新其标准输出,然后写入stdout任何缓冲,而不是实际发送,直到该进程完成,以尽量减少IO(这显然是一个许多的实现细节C库,制作能够实现吞吐量是通过不太频繁IO最大化)。 如果你可以很容易地修改进程,使其定期刷新标准输出,那么这将是您的解决方案。 就我而言,这是搅拌机,所以有点吓人了一个完整的noob像我这样的修改源。

但是,当你从外壳程序运行这些程序,它们显示标准输出到实时的外壳,和标准输出似乎并没有被缓冲。 这从另一个过程中,我相信调用时唯一的缓冲,但是如果外壳已经被处理,标准输出是出现在实时,无缓冲。

甚至可以用红宝石过程,子进程的输出必须实时采集观测到这种现象。 只要创建一个脚本,random.rb,具有以下行:

5.times { |i| sleep( 3*rand ); puts "#{i}" }

然后Ruby脚本调用,并返回其输出:

IO.popen( "ruby random.rb") do |random|
  random.each { |line| puts line }
end

你会看到,你没有得到的结果实时正如你所期望的,但一下子之后。 stdout是被缓冲,即使如果您运行random.rb自己,这是不是缓冲。 这可以通过增加来解决STDOUT.flush在random.rb块内声明。 但是,如果你不能改变源,你必须解决这个问题。 您无法从进程外冲洗掉。

如果子可以打印实时外壳,那么就必须在实时使用Ruby捕捉到了这个还有一种方式。 有。 您必须使用PTY模块,包含在红宝石的核心,我相信(1.8.6反正)。 可悲的是,它没有记录。 但我发现使用的一些例子幸运。

首先,解释一下什么是PTY,它所代表的伪终端 。 基本上,它允许Ruby脚本将自身呈现给子进程,就好像它是谁刚刚键入的命令到壳中真实的用户。 所以会发生,只有当用户已经通过一个壳(如STDOUT不被缓冲,在这种情况下)开始的过程中出现任何改变的行为。 隐瞒另一个进程已经开始这个过程中,其实可以让你收集STDOUT实时的,因为它没有被缓冲。

为了与random.rb脚本孩子此项工作,请尝试以下代码:

require 'pty'
begin
  PTY.spawn( "ruby random.rb" ) do |stdout, stdin, pid|
    begin
      stdout.each { |line| print line }
    rescue Errno::EIO
    end
  end
rescue PTY::ChildExited
  puts "The child process exited!"
end


Answer 2:

使用IO.popen 。 这是一个很好的例子。

您的代码将成为类似:

blender = nil
t = Thread.new do
  IO.popen("blender -b mball.blend -o //renders/ -F JPEG -x 1 -f 1") do |blender|
    blender.each do |line|
      puts line
    end
  end
end


Answer 3:

STDOUT.flush或STDOUT.sync =真



Answer 4:

搅拌机大概直到它结束程序不打印的换行符。 相反,它是打印回车符(\ r)。 最简单的解决方案可能是搜索的神奇选项,打印的换行符与进度指示器。

问题是, IO#gets (以及各种其他IO方法)使用换行符作为分隔符。 他们将读取流,直到他们打出了“\ n”字符(其搅拌器未发送)。

尝试设置输入分离器$/ = "\r"或使用blender.gets("\r")来代替。

顺便说一句,对于诸如此类的问题,您应经常检查puts someobj.inspectp someobj (这两者做同样的事情),看看在字符串中的任何隐藏字符。



Answer 5:

我不知道是不是当时ehsanul回答了这个问题,有Open3::pipeline_rw()产品尚未推出,但它确实使事情变得更简单。

我不明白ehsanul与搅拌机的工作,所以我做了另一个例子tarxztar将输入文件(S)添加到标准输出流,然后xz采取的stdout和压缩它,又到另一个标准输出。 我们的工作是把最后的标准输出,并将其写入我们的最终文件:

require 'open3'

if __FILE__ == $0
    cmd_tar = ['tar', '-cf', '-', '-T', '-']
    cmd_xz = ['xz', '-z', '-9e']
    list_of_files = [...]

    Open3.pipeline_rw(cmd_tar, cmd_xz) do |first_stdin, last_stdout, wait_threads|
        list_of_files.each { |f| first_stdin.puts f }
        first_stdin.close

        # Now start writing to target file
        open(target_file, 'wb') do |target_file_io|
            while (data = last_stdout.read(1024)) do
                target_file_io.write data
            end
        end # open
    end # pipeline_rw
end


文章来源: Continuously read from STDOUT of external process in Ruby