Como han mencionado otros, puede forzar que los datos sean una cadena. La mejor manera para eso fue = "1234567890123". The = hace que la celda sea una fórmula, y las comillas hacen que el valor adjunto sea una cadena de Excel literal. Esto mostrará todos los dígitos, incluso más allá del límite de precisión numérica de Excel, pero la celda (generalmente) no podrá usarse directamente en los cálculos numéricos.
Si necesita que los datos permanezcan numéricos, la mejor manera es probablemente crear un archivo nativo de Excel (.xls o .xlsx). Varios enfoques para eso se pueden encontrar en las soluciones a this related Stack Overflow question.
Si no te importa tener miles de separadores, hay otro truco que puedes usar, que es hacer que tu programa C# inserte los separadores de miles y rodear el valor entre comillas: "1,234,567,890,123". No incluya una línea = (ya que eso la forzará a ser una cadena). Tenga en cuenta que en este caso, las comillas son para proteger las comas en el CSV, no para especificar un literal de cadena de Excel.
El apóstrofo se vuelve visible en Excel, sin embargo, el truco de la fórmula es gr comer. – Chris