Pytest：如果一個失敗了，如何跳過課程中剩下的測試？

Question

我使用Jenkins，Python，Selenium2（webdriver）和Py.test框架爲Web測試創建測試用例。

到目前爲止，我組織我在下面的結構測試：

每個類是測試用例每個test_方法是測試步驟。

當一切正常，但是當一步崩潰時，其餘的「測試步驟」變得瘋狂，這種設置工作得很好。我能夠在teardown_class()的幫助下在類（測試用例）中包含失敗，但是我正在研究如何改善此問題。

我需要的是在某個類中如果其中一個失敗，則跳過（或xfail）其餘的test_方法，以便其他測試用例不會運行並標記爲FAILED（因爲那樣會假陽性）

謝謝！

更新：我沒有看或答案「這是不好的做法」，因爲這樣稱呼它是非常有爭議的。 （每個測試課都是獨立的 - 這應該足夠了）。

UPDATE 2：把「if」條件放在每個測試方法中不是一種選擇 - 是很多重複的工作。我正在尋找的是（也許）有人知道如何使用類方法的hooks。

Answer 1

我喜歡一般的「測試步驟」的想法。我認爲它是「增量」測試，它在功能測試場景恕我直言，是最有意義的。

這裏是一個不依賴於pytest的內部細節（除了官方鉤擴展）的實現：

import pytest 

def pytest_runtest_makereport(item, call): 
    if "incremental" in item.keywords: 
     if call.excinfo is not None: 
      parent = item.parent 
      parent._previousfailed = item 

def pytest_runtest_setup(item): 
    previousfailed = getattr(item.parent, "_previousfailed", None) 
    if previousfailed is not None: 
     pytest.xfail("previous test failed (%s)" %previousfailed.name) 

如果你現在有一個「test_step.py」是這樣的：

import pytest 

@pytest.mark.incremental 
class TestUserHandling: 
    def test_login(self): 
     pass 
    def test_modification(self): 
     assert 0 
    def test_deletion(self): 
     pass 

然後運行它看起來像這樣（使用-rx對xfail原因報告）：

(1)hpk@t2:~/p/pytest/doc/en/example/teststep$ py.test -rx 
============================= test session starts ============================== 
platform linux2 -- Python 2.7.3 -- pytest-2.3.0.dev17 
plugins: xdist, bugzilla, cache, oejskit, cli, pep8, cov, timeout 
collected 3 items 

test_step.py .Fx 

=================================== FAILURES =================================== 
______________________ TestUserHandling.test_modification ______________________ 

self = <test_step.TestUserHandling instance at 0x1e0d9e0> 

    def test_modification(self): 
>  assert 0 
E  assert 0 

test_step.py:8: AssertionError 
=========================== short test summary info ============================ 
XFAIL test_step.py::TestUserHandling::()::test_deletion 
    reason: previous test failed (test_modification) 
================ 1 failed, 1 passed, 1 xfailed in 0.02 seconds ================= 

我在這裏使用「xfail」，因爲跳過的原因是錯誤的環境或缺少依賴關係，錯誤的解釋器版本。

編輯：請注意，您的示例和我的示例都不能直接與分佈式測試一起使用。爲此，pytest-xdist插件需要增加一種方法來定義要發送到一個測試從屬設備的組/類，而不是通常將類的測試功能發送到不同從屬設備的當前模式。

Answer 2

做你在做什麼通常是不好的做法。每個測試應儘可能獨立於其他測試，而您完全依賴於其他測試的結果。

無論如何，閱讀the docs它似乎像一個你想要的功能沒有實現（可能是因爲它沒有被認爲是有用的）。

一個變通可能是「失敗」的測試中調用它設置在類的一些條件的自定義方法，並標記有「SKIPIF」裝飾每一個測試：

class MyTestCase(unittest.TestCase): 
    skip_all = False 

    @pytest.mark.skipIf("MyTestCase.skip_all") 
    def test_A(self): 
     ... 
     if failed: 
      MyTestCase.skip_all = True 
    @pytest.mark.skipIf("MyTestCase.skip_all") 
    def test_B(self): 
     ... 
     if failed: 
      MyTestCase.skip_all = True 

或者你也可以做這個控制器在運行每個測試之前最終會調用pytest.skip()。

編輯： 標記爲xfail可以以相同的方式完成，但使用相應的函數調用。

也許不是爲每個測試重寫樣板代碼，而是編寫一個裝飾器（這可能需要你的方法返回一個「標誌」，說明它們是否失敗）。

無論如何，我想指出的是，如您所述，如果其中一個測試失敗，那麼在相同測試用例中的其他失敗測試應被視爲虛假肯定... 但您可以通過「by手」。只需檢查輸出並找出誤報。 即使這可能是無聊的/容易發生的。

Answer 3

更新：請看看@ hpk42答案。他的回答不太侵擾。

這就是我其實是在尋找：

from _pytest.runner import runtestprotocol 
import pytest 
from _pytest.mark import MarkInfo 

def check_call_report(item, nextitem): 
    """ 
    if test method fails then mark the rest of the test methods as 'skip' 
    also if any of the methods is marked as 'pytest.mark.blocker' then 
    interrupt further testing 
    """ 
    reports = runtestprotocol(item, nextitem=nextitem) 
    for report in reports: 
     if report.when == "call": 
      if report.outcome == "failed": 
       for test_method in item.parent._collected[item.parent._collected.index(item):]: 
        test_method._request.applymarker(pytest.mark.skipif("True")) 
        if test_method.keywords.has_key('blocker') and isinstance(test_method.keywords.get('blocker'), MarkInfo): 
         item.session.shouldstop = "blocker issue has failed or was marked for skipping" 
      break 

def pytest_runtest_protocol(item, nextitem): 
# add to the hook 
    item.ihook.pytest_runtest_logstart(
     nodeid=item.nodeid, location=item.location, 
    ) 
    check_call_report(item, nextitem) 
    return True 

現在加入這conftest.py或作爲插件解決我的問題。
此外，如果blocker測試失敗，它也會改進爲停止測試。 （這意味着整個進一步的測試是無用的）

Answer 4

還是很簡單的，而不是從調用CMD（或TOX或其他地方）py.test，只要致電：

py.test --maxfail=1 

在這裏看到更多的交換機： https://pytest.org/latest/usage.html

Answer 5

• 如果」 d想要在任何地方發生N次故障後停止測試（不在特定的測試等級中）命令行選項pytest --maxfail=N是要走的路： https://docs.pytest.org/en/latest/usage.html#stopping-after-the-first-or-n-failures

• ，如果你不是想停止是由多個步驟，如果其中任何一個失敗，測試（並繼續執行其它測試），你應該把類中的所有的步驟，並使用@pytest.mark.incremental裝飾者，並編輯你的conftest.py，以包含代碼展示在這個doco頁面 https://docs.pytest.org/en/latest/example/simple.html#incremental-testing-test-steps。

Answer 6

你可能想看看pytest-dependency。這是一個插件，如果其他測試失敗，可以跳過一些測試。 在你的情況下，似乎gbonetti討論的增量測試更相關。