LibSVM: opción -wi (selección de peso) durante la validación cruzada y prueba

Question

Necesito ayuda sobre la opción de peso de libSVM. Estoy confundido en algún momento; ¿Deberíamos también usar la opción -wi mientras realizamos la validación cruzada? En caso afirmativo, ¿debemos usar los pesos calculados de los datos completos o los pesos calculados de acuerdo con los subconjuntos v-1 (para la validación cruzada v-fold)? Y mi segunda pregunta es ¿debemos usar la opción -wi durante la predicción? Si es así, ¿debemos usar los pesos calculados durante el entrenamiento o deberíamos calcular los pesos de acuerdo con la distribución de instancias negativas y positivas en los datos de prueba?

Por ejemplo; tenemos 50 + datos y 200 - datos. Entonces, después de calcular los mejores valores de parámetros de c y gamma, usaremos -w1 4 -w-1 1 opciones durante el entrenamiento. Pero, ¿qué pasa con el entrenamiento durante la búsqueda de grillas y la validación cruzada? Digamos que estamos realizando una validación cruzada de 5 veces. Mientras se entrena en los 4 subconjuntos restantes, la distribución de instancias negativas y positivas probablemente cambie. Entonces, ¿deberíamos recalcular los pesos durante esta validación cruzada de 5 veces?

Además de shoud usamos -w1 4 -w-1 1 opciones mientras probamos?

Gracias

Answer 1

para responder a su primera pregunta, si está aplicando pesos no triviales a un subconjunto de clases durante el entrenamiento del modelo, entonces usted debe hacer lo mismo a través de su formación/sintonización que incluye la sintonización basado validación cruzada de C y gamma (de lo contrario, estaría ajustando el modelo según la función objetivo/riesgo/pérdida que es diferente del que está especificando al habilitar pesas de clase no triviales)

Los pesos de clase son externo a libSVM en el sentido de que no son calculados por libSVM - esa opción de línea de comando permite a un usuario establecer sus propios pesos de clase para enfatizar/reducir la importancia de un subconjunto de clases. Algunas personas ajustan los pesos de clase también, pero esa es una historia diferente.

En cuanto a la predicción, las ponderaciones de clase no se usan explícitamente (ya que entran como un "ajuste" a la función objetivo/riesgo/pérdida durante la etapa de entrenamiento/ajuste modelo para que el modelo resultante ya sea "consciente" "de los pesos)