Tenemos un archivo de texto con aproximadamente 100.000 filas, alrededor de 50 columnas por fila, la mayoría de los datos es bastante pequeño (5 a 10 caracteres o números).¿Cuál es la mejor manera de leer un archivo de texto delimitado por tabulaciones en C#
Esta es una tarea bastante simple, pero me pregunto cuál sería la mejor manera de importar estos datos en una estructura de datos C# (por ejemplo, una DataTable)?
me gustaría leer en un CSV con los delimitadores de columna pestaña:
Editar:
Aquí está un ejemplo de barebones de lo que se necesita:
DataTable dt = new DataTable();
using (CsvReader csv = new CsvReader(new StreamReader(CSV_FULLNAME), false, '\t')) {
dt.Load(csv);
}
Donde CSV_FULLNAME es la ruta completa + nombre de archivo de su CSV delimitado por tabulaciones.
Utilizamos este lector CSV en nuestra aplicación, es genial. –
Lo verifico, ¿alguien tiene código de muestra para usarlo con delimitadores de columnas con pestañas? – alchemical
Sugiero ir con algo como esto. También puede usar el controlador Access/Jet para el acceso ADO.Net, pero a veces hay un poco de extravagancia. – Tracker1
dos opciones:
System.Data.OleDb. Esto tiene la ventaja de leer directamente en una tabla de datos como la que pidió con muy poco código, pero puede ser complicado hacerlo bien porque es una pestaña en lugar de delimitada por comas.Simplemente curiosidad por sugerir un analizador basado en estado en lugar de String.Split(). –
Rendimiento, principalmente. Pero también que es difícil conseguir cosas como el texto entre comillas con string.split. –
Además, con "máquina de estado" no quiero decir Regex, que es casi tan malo. Me refiero a una máquina de estado especialmente diseñada para esta tarea que puede manejar mejor el descenso/recursión. –
¿Qué pasa con FileHelpers, puede definir la pestaña como un delimitador. Dirígete a ese sitio por el enlace provisto y ten un peeky.
Espero que esto ayude, Saludos cordiales, Tom.
Sin embargo, al analizar las líneas, asegúrese de utilizar algo que admita el reenvío y el rebobinado, ya que es la fuente de datos de su cuadrícula de datos. No quiere cargar todo en la memoria primero, ¿verdad? ¿Qué tal si la cantidad de datos debe ser diez veces la próxima vez? Haga algo que use file.seek en el fondo, no lea todo en la memoria primero. Ese es mi consejo.
simple, pero no necesariamente la una gran manera:
leer el archivo usando un lector de texto en una cadena
Uso String.split para obtener las filas
uso String.Split con un carácter de tabulación para obtener los valores de campo
solo para recordarlo - hay una cadena [] System.IO.File.ReadAllLines (ruta de cadena) –
Utilice el analizador de texto integrado de .NET. Es gratis, tiene un gran manejo de errores y se ocupa de muchos casos extraños.
http://msdn.microsoft.com/en-us/library/microsoft.visualbasic.fileio.textfieldparser(VS.80).aspx
¿Solo esta VB? – alchemical
No, simplemente sucede que está en el espacio de nombres de VB porque ese equipo lo creó. Puede usarlo desde cualquier lenguaje .NET. –
para 100.000 filas, es probable que no quieren cargarlo en un DataTable. Es posible que desee considerar el uso de SqlBulkCopy cuando lo inserta en la base de datos. –