Ejecución de MTIT de MTurk en el sitio web externo

Question

Estoy implementando un sitio web en el que los trabajadores MTurk reclutados realizarán tareas. Planeo reclutar trabajadores usando tareas de MTurk, con lo cual los redireccionaré a un sitio web externo para el trabajo real. Tengo las siguientes preguntas relacionadas con este plan.

1. ¿Hay algún problema previsible con este enfoque de ejecutar HIT? Si es así, ¿cómo podemos mitigarlos?

2. ¿cómo debo implementar el procedimiento de autenticación en mi sitio externo? Por ejemplo, ¿cómo puedo asegurarme de que las personas que visitan el sitio web para realizar una tarea específica son del mismo grupo de personas reclutadas anteriormente para esta tarea en particular en MTurk?

3. cuando los trabajadores terminen la tarea, ¿cómo debería integrar el procedimiento de pago con MTurk en función de su rendimiento? Por ejemplo, digamos que a trabajador se le debe $ 3 después de terminar la tarea en mi sitio externo, ¿es posible que le diga a MTurk que le pague esta cantidad programáticamente?

El sitio externo se creará utilizando Python, si tal detalle importa.

¡Todas las sugerencias y comentarios basados ​​en sus experiencias y conocimientos sobre el uso de MTurk serían muy apreciados!

Answer 1

Estoy pensando en esto para un proyecto mío similar. He experimentado como un trabajador yo mismo. Este es mi plan, espero que te sea útil. (.. No he puesto en práctica, sin embargo, se basa en un éxito académico participé en como trabajador) Aquí va:

A. Crear una plantilla que tiene un lenguaje algo como:

1. Please open this web site in a new browser window: 
    http://your-url.xyz.blah/tasks/${token} 
2. Read and follow the instructions there. 
3. After completing the task, you will receive a confirmation code. Paste 
    it here: [________] 

B. crear algunas fichas al azar para su archivo de datos de Mechnical Turk:

1A1B43B327015141 
09F49F2D47823E0C 
B5C49A18B3DB56F4 
4E93BB63B0938728 
CCE7FA60BFEB3198 
... 

(generar estas fichas de su aplicación, sino que necesita de referencias cruzadas ellos.)

C. extractos de su aplicación th e token de URL, busca la tarea y hace lo que necesita hacer. Personalmente, no me preocupo porque la gente tropiece con una URL, ya que es una ficha de uso de una sola vez.

D. Después de que un usuario completa la tarea en el sitio web externo, la aplicación externa proporciona un código de confirmación. El código de confirmación debe ser aleatorio y opaco. Solo su solicitud sabrá si algún código en particular corresponde a una respuesta correcta o incorrecta. De hecho, si lo desea, es posible que la corrección no se determine en tiempo real; podría ser el resultado de una agregación y/o comparación en múltiples envíos.

E. Escriba un código para interactuar mediante programación. Tome el token y el código de confirmación proporcionados por el resultado de MTurk y asegúrese de que coincidan con su aplicación externa. Si no coinciden, rechace el HIT. Si coinciden, verifique la corrección en su aplicación externa y apruebe o rechace. Puede considerar una estructura de pago de bonificación.

Por lo tanto, para responder a sus preguntas particulares:

1. No anticipo problemas con el enfoque que he descrito.Dicho esto, Mechanical Turk es tanto un arte como una ciencia. Quizás más arte. Escribir buenas preguntas y pagar a los Turkers de manera apropiada es algo que tienes que resolver con una combinación de sentido común, investigación de mercado y experimentación.

2. Consulte (C) arriba. Un token está diseñado para usarse solo una vez. Use tokens lo suficientemente largos y la probabilidad de colisión sea muy baja.

3. Consulte (E) arriba. El Mechanical Turk Developer Guide es un buen lugar para comenzar.

Por favor, comparta sus resultados. O haga que los Turkers envíen a StackOverflow cientos de tarjetas postales. :)

Notas:

• estoy explorando actualmente pruebas de calificación. Sospecho que pueden ser muy útiles.

• Quiero obtener una ID de Turker's Worker en mi aplicación externa, pero aún no me he dado cuenta de esa parte. Estoy leyendo sobre eso; por ejemplo: Getting workerId by assignmentId

• estoy pensando en usar la característica ExternalQuestion de la API:." ... puede alojar las preguntas sobre su propio sitio web mediante una 'cuestión externa' ... un éxito con una externa pregunta muestra una página web de su sitio web en un marco en el navegador web del Trabajador. Su página web muestra un formulario para que el Trabajador lo complete y lo envíe. El Trabajador envía los resultados utilizando su formulario y su formulario envía los resultados a Mecánica. Turk. El uso de su sitio web para mostrar el formulario le da al sitio web el control sobre cómo aparece la pregunta y cómo se recopilan las respuestas ".

Answer 2

que puede que encuentre PsiTurk para ser útil:. "PsiTurk es una plataforma abierta para la realización de experimentos a medida behvioral en Mechanical Turk de Amazon ... Se tiene la intención de proporcionar la mayor parte de la maquinaria de back-end necesaria para ejecutar su experimento Utiliza el tipo HIT de pregunta externa de AMT, lo que significa que puede recopilar datos en cualquier sitio web. ¡Siempre que pueda convertir su experimento en un sitio web, puede ejecutarlo con PsiTurk!