sí, se puede:
string formatted = dt.ToString("dd'.'MM'.'yyyy");
Ahora bien, en este caso no se requiere realmente las cotizaciones, como custom date/time format strings no interprete punto de ninguna manera especial. Sin embargo, me gustaría hacerlo explícito, si cambias '.' para ':' por ejemplo, mientras está citado permanecerá con el carácter explícito, pero sin comillas sería "el separador de tiempo específico de la cultura". No era completamente obvio para mí si "." se interpretaría como "el separador decimal específico del cultivo" o no, de ahí la cita. Puede sentir que está exagerado, por supuesto, es completamente su decisión.
Usted puede también desee especificar la referencia cultural de todos, sólo para quitar cualquier otro rastro de duda: "".
string formatted = dt.ToString("dd'.'MM'.'yyyy", CultureInfo.InvariantCulture);
(En ese momento las comillas alrededor del punto de llegar a ser menos relevante, tal como se el separador decimal en la referencia cultural de todos modos)
+1: Gracias por la información detallada sobre las citas, cualquiera sea su significado en este caso. –