提问者:小点点

用Selenium和Chromedriver使用PM2运行Python应用程序时,会经常崩溃和重新启动


我一直有一个问题,让我的应用程序运行在PM2.5。这是一个简单的Python3应用程序,使用Selenium和Chrome/ChromeDriver来刮我们的网站。我认为问题要么是Chrome本身位于apps文件夹之外的另一个文件夹中,要么是它一旦启动就失去了与Chrome/ChromeDriver进程的连接,而我只是不知道如何告诉PM2包含那些进程。

脚本在没有PM2的情况下运行良好,所以我不确定问题出在哪里,也不知道如何修复它。以下是它在每次重启后生成的输出(它基本上是不断地启动、崩溃和重启,而从来没有连接到网站):

0|Scraper  | [2018-04-11 10:07:32.222861] STARTING SCRAPER
0|Scraper  | Traceback (most recent call last):
0|Scraper  |   File "/home/myapp/Scraper.py", line 1617, in <module>
0|Scraper  |     process()
0|Scraper  |   File "/home/myapp/Scraper.py", line 164, in process
0|Scraper  |     browser              = webdriver.Chrome(chrome_options = options, executable_path = path_to_chromedriver)
0|Scraper  |   File "/usr/local/lib/python3.5/dist-packages/selenium/webdriver/chrome/webdriver.py", line 62, in __init__
0|Scraper  |     self.service.start()
0|Scraper  |   File "/usr/local/lib/python3.5/dist-packages/selenium/webdriver/common/service.py", line 100, in start
0|Scraper  |     time.sleep(1)
0|Scraper  | KeyboardInterrupt  <--- I'm guessing this is PM2 killing the app after an error?
0|Scraper  |     Progress is Empty  <--- 'Empty' because it never did anything
0|Scraper  |     Progress SAVED

这些是我的chrome选项:

options  = webdriver.ChromeOptions()
options.binary_location = '/usr/bin/google-chrome'
options.add_argument('headless')
options.add_argument('--log-level=3')
options.add_argument('window-size=1920x1080')
options.add_argument('--mute-audio')
options.add_argument('no-sandbox')

chromedriver本身直接位于应用程序的父目录中。

下面是我的PM2进程json文件:

{
  "apps" : 
  [
    {
      "name"        : "Scraper",
      "script"      : "Scraper.py",
      "interpreter" : "python3",
      "watch"       : true
    }
  ]
}

我所做的只是pm2 start scraper-process.json,然后pm2记录scraper以查看输出。

编辑:这里是chromedriver的初始化

try:
    path_to_chromedriver = "chromedriver"
    browser              = webdriver.Chrome(chrome_options = options, executable_path = path_to_chromedriver)
except Exception as e:
    print("[ERROR] Chromedriver: " + str(e))

然后我把它发到我们的页面:

browser.get(ourURL)

共1个答案

匿名用户

问题似乎在我的PM2.5处理文件中。我错误地将“watch”设置为true,忘记了app经常对文件进行更改,这导致pm2每次都要重启app。