2016-06-25 12 views
0

我有一個我想調整的資格考試。如果有些問題經常被忽略,我會考慮將其交換出來或添加說明。如何檢索實際工作人員對mturk資格考試的答案?

該測試是資格類型的一部分。完成正確答案後,工作人員將自動獲得測試。我的HIT需要在資格類型上接受最低分數。

我沒有在請求者UI中看到一個視圖來查看實際的工作人員響應。

GetQualificationsForQualificationType只返回狀態和值(分數),雖然documentation示例響應有答案。我已經嘗試了Java和WS調用。該sdk也有一個getQualificationRequests(),但它對此限定類型返回null。它返回一個數組QualificationRequest。該類有getTest()getAnswer()方法,但我不明白它會返回什麼。在我看來,資格要求只適用於那些沒有測試的資格要求,這些要求是手動授予的。

任何人都知道一種方式來獲得實際?謝謝!

+0

歡迎來到Stack Overflow!我編輯了您的問題以格式化內聯代碼,以便它正確呈現 - 請參閱編輯幫助以獲取有關格式化的更多信息。請編輯以提供識別特定問題所需的任何其他詳細信息。祝你好運! – Wtower

回答

0

如果您使用AnswerKey,則無法執行此操作。有兩種常用策略可以解決這個問題:

  1. 不要設置自動限定條件(或使用應答鍵)。然後,您可以使用GetQualificationRequests操作查看單個問題的實際答案。如果您想快速限定大量工作人員,這可能不起作用,但您可以編寫一個腳本來輪詢新請求並根據答案批准它們,同時在本地保存鑑定測試答案。 (一旦資格被授予,他們不再可從MTurk獲得。)

  2. 您可以指定您的資格分數,以便每個分數唯一標識一個答案模式。一個簡單的方法就是像三問題的資格考試,它將每個問題單獨評分爲十分之一:

    a。 Q1:正確= 1,不正確= 0

    b。 Q2:正確= 10,不正確= 0

    c。 Q3:正確= 100,不正確= 0

然後分數爲1,10或100表示​​1正確的答案。 11,101或110表示兩個正確答案,111分表示三個正確答案。您可以使用In比較器來滿足您的QualificationRequirements要求,例如,如果您希望他們有2個或更多正確答案,那麼工人的得分是「In」11,101,110或111。

顯然還有其他的評分模式會類似地產生獨特的可識別的分數模式。

+0

謝謝托馬斯。關於第二種選擇,非常聰明。但我有十個問題,每個問題四個......你做數學。 :>)所以第一個選項只對我開放。我在響應示例中看到了Test/Answer對。希望有一些附加值,比如發送通知消息作爲[GrantQualification]的一部分(http://docs.aws.amazon.com/AWSMechTurk/latest/AWSMturkAPI/ApiReference_GrantQualificationOperation.html)。似乎我不能發送通知/獎金,直到至少有一個HIT被批准/拒絕爲止。 –

+0

是的,這是選項1的限制。事實上,除非他們爲您工作,否則沒有選擇聯繫工作人員(這是一項垃圾郵件防護功能,儘管有時令人沮喪)。 – Thomas