precision

9El calor

3Respuesta

SQL Server: Cálculo con literales numéricos

Realicé algunas pruebas con cálculos de coma flotante para minimizar la pérdida de precisión. Me topé con un fenómeno que quiero mostrar aquí y espero obtener una explicación. Cuando escribo print 1.0

15El calor

6Respuesta

¿Qué clase usar para la representación monetaria?

¿Qué clase debo usar para la representación del dinero para evitar la mayoría de los errores de redondeo? ¿Debo usar Decimal, o un simple built-in number? ¿Existe alguna clase existente Money con sopo

9El calor

3Respuesta

¿Qué es c printf% f precisión predeterminada?

Tengo curiosidad: Si haces un printf("%f", number); ¿cuál es la precisión de la afirmación? Es decir. ¿Cuántas cifras decimales aparecerán? ¿Es este compilador dependiente?

6El calor

3Respuesta

Determine la igualdad de los valores de fecha y hora con la precisión de minutos dentro de LINQ

Necesito comparar dos valores de fecha y hora para determinar la igualdad (exactamente igual), usando la precisión de minutos. ¿Esta sería la mejor manera de hacerlo? Mis fechas pueden tener segundos

5El calor

7Respuesta

¿Por qué hay una diferencia entre el mismo valor almacenado como float y double en Java?

me espera el siguiente código para producir: "Both are equal", pero tiene "Both are NOT equal": float a=1.3f; double b=1.3; if(a==b) { System.out.println("Both are equal"); } else{ System.out.p

10El calor

6Respuesta

¿Cuál es la precisión máxima del temporizador en .NET?

Me pregunto cuál es la precisión de la clase Timer en System.Timers, porque es un doble (lo que parece indicar que puede tener fracciones de milisegundos). ¿Qué es?

27El calor

2Respuesta

Haskell: Fuerza flotadores tener dos decimales

Utilizando el siguiente fragmento de código: (fromIntegral 100)/10.00 Utilizando el Haskell '98 preludio estándar, ¿cómo representar el resultado con dos decimales? Gracias.

5El calor

2Respuesta

MS Access Rounding Precision With Group By

¿Por qué el promedio de la puntuación de un empleado de cada mes, cuando se suma, es igual al promedio de la puntuación de los empleados (nunca)? Promedio SELECT Avg(r.score) AS rawScore FROM (ET INN

8El calor

7Respuesta

gcc error de precisión?

Solo puedo suponer que es un error. La primera afirmación pasa mientras que la segunda falla: double sum_1 = 4.0 + 6.3; assert(sum_1 == 4.0 + 6.3); double t1 = 4.0, t2 = 6.3; double sum_2 = t1 +

7El calor

3Respuesta

¿Hay alguna manera de obtener la sección decimal repetitiva de una fracción en Python?

Estoy trabajando con fracciones usando el módulo decimal de Python y me gustaría obtener solo la parte repetitiva de una cierta fracción. Por ejemplo: si tuviera 1/3 me gustaría obtener 3, si tuviera