2013-09-10 25 views
1

我想使用AMT的命令行界面創建一個資格測試。此測試只會使用可由AMT自動評分的問題類型。我可以爲每個問題設置個人分數,但無法找到任何有關如何爲測試設置最低及格分數的文檔。例如,如果一名工作人員得分低於80分,我希望他們通過測試。如果他們的分數高於80,我希望他們通過考試。如何設置資格考試的最低及格分數?

回答

2

資格測試不起作用,如通過/失敗。它分配一個QualificationScore。您可以使用AnswerKey中的QualificationValueMapping將測試分數轉換爲一組特定分數(請參閱:http://docs.aws.amazon.com/AWSMechTurk/latest/AWSMturkAPI/ApiReference_AnswerKeyDataStructureArticle.html)。合格/不合格元素必須是特定HIT的QualificationRequirement的一部分 - 即「合格」應該表示分數高於QualificationRequirement的閾值,並且失敗應低於該分數。然後,映射將允許您將總點數轉換爲例如高於和低於需求閾值的值。

+0

謝謝!所以要清楚的是,在自動評分測試結束後,沒有辦法改變對話:「恭喜你已經通過了X分數的資格考試!」?他們會一直通過,但有時候得分低於我的HITs門檻? – willwest

+0

@willwest我猜如果你得分爲零,它可能會說別的,但我不認爲有任何方法可以修改消息。 – Thomas