Datos persistentes en sklearn

Question

Estoy usando scikit-learn para agrupar documentos de texto. Estoy usando las clases CountVectorizer, TfidfTransformer y MiniBatchKMeans para ayudarme a hacer eso. Los nuevos documentos de texto se agregan al sistema todo el tiempo, lo que significa que necesito usar las clases anteriores para transformar el texto y predecir un clúster. Mi pregunta es: ¿cómo debo almacenar los datos en el disco? ¿Debo simplemente encuadrar el vectorizador, el transformador y los objetos kmeans? ¿Debo guardar los datos? Si es así, ¿cómo lo vuelvo a agregar al vectorizador, al transformador y a los objetos kmeans?

Cualquier ayuda sería muy apreciada

Answer 1

Depende de lo que quieras hacer.

Si desea encontrar algunos centros de clúster fijos en un conjunto de capacitación y luego reutilizarlos más tarde para calcular asignaciones de clúster para nuevos datos y luego conservar los modelos (o simplemente guardar el vocabulario del vectorizador y los demás parámetros de constructores de modelos) y las posiciones del centro del grupo) está bien.

Si lo que desea es clustering con nuevos datos, es posible que desee volver a entrenar toda la tubería mediante la unión de los datos nuevos + datos antiguos para que el vocabulario del vectorizador cree nuevas características (dimensiones) para las nuevas palabras y permita que el algoritmo de agrupamiento encuentre centros de clúster que se ajusten mejor a la estructura del conjunto de datos completo.

Tenga en cuenta que en el futuro proporcionaremos vectorizadores de hash (vea por ejemplo este pull request on hashing transformers como primer bloque de construcción), por lo tanto, ya no será necesario almacenar el vocabulario (pero perderá la capacidad de introspección del "significado "de las dimensiones de la característica).

Como para el decapado de los modelos frente a la utilización de su propia representación de sus parámetros He respondido a esta parte en su pregunta anterior aquí: Persist Tf-Idf data

Answer 2

Sí, creo que la respuesta general con SK-aprender es pickle y orar.

Me parece que esto es súper frágil, en comparación con tener un formato de serialización documentado que no depende de los detalles de implementación. ¿Pero tal vez ellos lo sepan y no harán cambios incompatibles con sus clases?