Tengo un gran diccionario de Python de vectores (150k vectores, 10k dimensiones cada uno) de números flotantes que no se pueden cargar en la memoria, así que tengo que usar uno de los dos métodos para almacenar esto en el disco y recuperar vectores específicos cuando corresponda. Los vectores se crearán y almacenarán una vez, pero pueden leerse muchas (miles de) veces, por lo que es muy importante tener una lectura eficiente. Después de algunas pruebas con el módulo shelve, tiendo a creer que sqlite será una mejor opción para este tipo de tareas, pero antes de comenzar a escribir el código me gustaría escuchar más opiniones sobre esto ... Por ejemplo, ¿hay alguna otra opciones, excepto de esos dos que no conozco?Seleccionar entre shelve y sqlite para diccionario realmente grande (Python)
Ahora, suponiendo que estemos de acuerdo en que la mejor opción es sqlite, otra pregunta se relaciona con la forma exacta de la tabla. Estoy pensando en usar una estructura de grano fino con filas del formulario vector_key, element_no, value para ayudar a una paginación eficiente, en lugar de almacenar todos los 10k elementos de un vector en el mismo registro. Realmente agradecería cualquier sugerencia sobre este tema.
Hola, he visto antes el enlace que estás sugiriendo, el problema es que solo prueba la escritura, no leer cuál es mi principal preocupación. En cuanto a la normalización, ambas formas que sugiero arriba ya están en forma normal, solo me pregunto cuál de las dos será la más eficiente para leer, supongo que puedo realizar algunas pruebas al respecto. En cualquier caso, gracias por la respuesta :) – dkar