10 * 10 veces la validación cruzada en scikit-learn?

Question

Es

class sklearn.cross_validation.ShuffleSplit(
    n, 
    n_iterations=10, 
    test_fraction=0.10000000000000001, 
    indices=True, 
    random_state=None 
) 

el camino correcto para 10 * de 10 veces CV en scikit-learn? (Cambiando la random_state 10 números diferentes)

Debido a que no encontrar cualquier random_state parámetro en Stratified K-Fold o K-Fold y la separada de K-Fold son siempre idénticos para los mismos datos.

Si ShuffleSplit es el derecho, una de las preocupaciones es que se menciona

Nota: al contrario de otras estrategias de validación cruzada, se divide al azar no garantía de que todos los pliegues será diferente, aunque esto sigue siendo muy probable para conjuntos de datos grandes

¿Siempre es así para 10 * 10 veces CV?

Answer 1

No estoy seguro de lo que quiere decir con una validación cruzada de 10 * 10. La configuración de ShuffleSplit que proporcione lo hará llamar al método de ajuste del estimador 10 veces. Si se llama a esto 10 veces utilizando explícitamente un bucle exterior o llamar 100 veces con 10% de los datos reservados para probar en un solo bucle si se utiliza en lugar de directamente:

>>> ss = ShuffleSplit(X.shape[0], n_iterations=100, test_fraction=0.1, 
...  random_state=42) 

Si usted quiere hacer 10 carreras de StratifiedKFold con k = 10 puede armar el conjunto de datos entre los tramos (que daría lugar a un total de 100 llamadas al método de ajuste con una división de prueba de 90% de tren/10% para cada llamada para encajar):

>>> from sklearn.utils import shuffle 
>>> from sklearn.cross_validation import StratifiedKFold, cross_val_score 
>>> for i in range(10): 
... X, y = shuffle(X_orig, y_orig, random_state=i) 
... skf = StratifiedKFold(y, 10) 
... print cross_val_score(clf, X, y, cv=skf)