floating-point-precision

8El calor

1Respuesta

Diferencia entre/fp: strict y/fp: precise?

¿Cuándo usas fp: strict en lugar de fp: precise? ¿Es mejor usar el anterior si quiero cálculos "más precisos" y evitar errores de redondeo? ¿Cuál es la heurística detrás de usar cualquiera?

c++ visual-c++ floating-point floating-point-precision visual-studio-2010 2012-09-20

---

7El calor

1Respuesta

Cualquier equivalente de "extendido" para C#?

Estoy trabajando en una nueva versión de mi Mandelbrot screensaver y me estoy quedando sin precisión de punto flotante - double simples valores no tienen suficientes cifras significativas para mis nec

c# performance double floating-point-precision 2012-09-23

---

5El calor

4Respuesta

Cómo funcionan las tiendas java float v double

Me doy cuenta de que un número decimal solo puede almacenarse con tanta precisión como un float en un sistema binario, pero lo que no entiendo es lo que ocurre en el 7 decimal en mi salida de 10/7 . E

java floating-point-precision 2012-01-30

---

16El calor

3Respuesta

Cómo colocar o cementar con seguridad un CGFloat a int?

A menudo necesito plantar o celar un CGFloat a un int, para el cálculo de un índice de matriz. El problema que veo permanentemente con floorf(theCGFloat) o ceilf(theCGFloat) es que puede haber problem

ios math floating-point floating-accuracy floating-point-precision 2012-08-16

---

5El calor

5Respuesta

comparación de punto flotante de asignación constante

Al comparar dobles para la igualdad, tenemos que dar un nivel de tolerancia, porque el cálculo de coma flotante podría introducir errores. Por ejemplo: double x; double y; x = f(); y = g(); if (f

c++ floating-point floating-point-precision 2012-03-23

---

5El calor

3Respuesta

¿El punto en el extremo de un flotador sugiere falta de precisión?

Cuando puedo depurar mi software en VS C++ mediante la intensificación del código Noto que algunos cálculos flotador se muestran como un número con un punto de salida, es decir: 1232432. Una operaci

c++ visual-studio floating-point floating-point-precision 2011-12-15

---

9El calor

2Respuesta

¿Es esta una comparación flotante válida que representa un número determinado de lugares decimales?

Estoy escribiendo un método de extensión para comparar dos flotantes usando un número determinado de puntos decimales (cifras significativas) para determinar si son iguales en lugar de una diferencia

c# floating-point floating-point-precision 2012-02-07

---

27El calor

1Respuesta

¿Por qué 0.06 + 0.01 = 0.07 en ColdFusion?

¿Por qué las operaciones matemáticas en ColdFusion no parecen verse afectadas por problemas matemáticos de coma flotante? Tome el código: result = 0.06 + 0.01; writedump(result); writedump(result.g

java coldfusion floating-point-precision cfml 2011-09-14

---

9El calor

5Respuesta

¿Por qué la variable flotante ahorra valor al cortar los dígitos después del punto de una manera extraña?

que tienen esta simple línea de código: float val = 123456.123456; Al imprimir este val o buscar en su alcance, que almacena el valor 123456,13 Ok, está bien, no puede almacenar todos esos dígitos d

c++ floating-point ieee-754 floating-point-precision digits 2012-02-17

---

32El calor

4Respuesta

Establecer precisión específica de un BigDecimal

Tengo un XSD que me obliga a utilizar un BigDecimal para un lat/lon. Actualmente tengo el lat/lon como dobles y los convierto en BigDecimal, pero solo debo usar unos 12 lugares de precisión. No he pod

java bigdecimal floating-point-precision 2012-02-28

---