precision

8El calor

1Respuesta

¿Cómo puedo establecer el nivel de precisión para el bignum de Perl?

Estoy tratando de usar el módulo bignum en Perl y quiero establecer la precisión. Sé que esto puede hacerse a través de un chiste que se detallan en el module's CPAN page: $ perl -Mbignum=p,-50 -le 'p

perl precision bignum 2010-01-25

---

74El calor

6Respuesta

C# DateTime.Now precisión

Me encontré con un comportamiento inesperado con DateTime.UtcNow mientras hacía algunas pruebas unitarias. Parece que cuando llama a DateTime.Now/UtcNow en sucesión rápida, parece devolverle el mismo

c# .net datetime precision time-precision 2010-01-26

---

6El calor

1Respuesta

C# - problema con números muy pequeños - no hay suficientes dígitos en el tipo de datos doble

Estoy escribiendo un programa en C# que supone calcular números muy pequeños. Sin embargo, todos mis cálculos obtienen el valor de NaN porque son demasiado pequeños para el tipo de datos 'doble'. ¿Hay

c# double precision 2010-01-29

---

47El calor

4Respuesta

Establecer la precisión de visualización de un flotador en Ruby

¿Es posible ajustar la precisión de visualización de un flotador en Ruby? Algo así como: z = 1/3 z.to_s #=> 0.33333333333333 z.to_s(3) #=> 0.333 z.to_s(5) #=> 0.33333 O tengo que reemplazar el mé

ruby floating-point precision 2009-12-19

---

7El calor

6Respuesta

Emular el comportamiento de conversión de cadena de punto flotante de Linux en Windows

He encontrado un problema molesto al generar un número de coma flotante. Cuando formato 11.545 con una precisión de 2 decimales en Windows, da salida a "11.55", como era de esperar. Sin embargo, cuand

python c floating-point printf precision 2010-02-10

---

18El calor

4Respuesta

Afirmaciones de pruebas PHP y unidades con decimales

Tengo un método que devuelve un valor flotante como 1.234567890.Quiero probar que realmente lo hace. Sin embargo, parece que este flotante devuelto tiene una precisión diferente en diferentes platafor

php unit-testing phpunit assert precision 2009-12-26

---

77El calor

2Respuesta

Control del número de dígitos decimales en la salida de impresión en R

Hay una opción en R para controlar la visualización de los dígitos. Por ejemplo: options(digits=10) se supone para dar los resultados de cálculo en 10 dígitos hasta el final de la sesión R. En el ar

r precision options digits output-formatting 2010-02-18

---

23El calor

3Respuesta

¿Cómo Java String.format con una precisión variable?

Me gustaría variar la precisión de una representación doble en una cadena que estoy formateando según la entrada del usuario. En este momento estoy tratando algo como: String foo = String.format("%.*f

java string rounding precision floating-accuracy 2010-02-20

---

6El calor

1Respuesta

¿Por qué la asignación de double to int no activa las advertencias gcc?

int i = 3.1/2 no causa ninguna advertencia, incluso con la opción de -Wall. A veces, me gustaría saber dónde pierde la precisión.¿Por qué gcc no admite esta advertencia, mientras que msvc admite est

c gcc precision gcc-warning 2010-01-04

---

8El calor

4Respuesta

¿Por qué Math.sqrt (i * i) .floor == i?

Me pregunto si esto es cierto: Cuando tomo la raíz cuadrada de un número entero cuadrado, como en f = Math.sqrt(123*123) voy a tener un número de coma flotante muy cerca de 123. Debido a la precisió

ruby floating-point precision 2010-01-13

---