precision

17El calor

4Respuesta

¿Hay un sufijo literal en punto flotante en C++ para hacer un número doble de precisión?

Actualmente estoy trabajando en un proyecto de C++ que realiza cálculos numéricos. La gran mayoría del código usa valores de punto flotante de precisión simple y funciona perfectamente bien con eso. D

c++ gcc precision literals 2012-08-30

---

6El calor

3Respuesta

Matlab da una respuesta incorrecta

Si se ejecuta el siguiente código, MATLAB comete un error. ¿Alguien puede verificar esto? floor([0.1:0.1:2]/0.01) ¿Qué hace el 129 aquí? ans = 10 20 30 40 50 60 70 80 90 100 110 120 129 140 150 160

matlab precision numerical 2012-06-07

---

7El calor

3Respuesta

¿Cómo calcular el número de dígitos decimales significativos de un C++ double?

Cuando se trata de valores de coma flotante en Java, al llamar al método toString() se obtiene un valor impreso que tiene el número correcto de cifras significativas de coma flotante. Sin embargo, en

c++ floating-point string-formatting precision 2012-07-27

---

11El calor

1Respuesta

¿Resta sin desbordamiento?

Supongamos que hay dos enteros (int x, y;). x es negativo y y = 0x80000000. ¿Por qué no se desborda (x - y) mientras x + (-y) hace? ¿La computadora no resta por adición?

c integer overflow precision 2012-06-08

---

8El calor

2Respuesta

La precisión BigDecimal no persistió con las anotaciones JPA

Estoy usando la API javax.persistence y Hibernate para crear anotaciones y persistir entidades y sus atributos en una base de datos Oracle 11g Express. que tienen el atributo siguiente en una entidad:

hibernate jpa oracle11g precision bigdecimal 2012-06-08

---

35El calor

1Respuesta

La división de dos números enteros para producir un resultado float

Duplicar posible: Why can't I return a double from two ints being divided Mi programa en C++ es truncar la salida de mi devisiones entero par cuando intento y colocar el resultado en un flotador. ¿Cóm

c++ precision integer-division 2012-09-16

---

7El calor

3Respuesta

XPath salidas .07 * 100 * 100 como 700.00000000000011 ¿por qué?

he notado algún comportamiento precisión extraño que no puedo entender, tengo algo de XML: <CLD> <UCRV> <UCR1>.07</UCR1> </UCRV> </CLD> Y en un archivo XSLT, estoy seleccionando el

xslt xpath precision 2012-09-18

---

8El calor

2Respuesta

SQL establece la precisión de punto flotante

Para un SQL int que se está convirtiendo en un flotante, ¿cómo puedo establecer la precisión del número de coma flotante? Ésta es la selección me gustaría para truncar a dos o 3 cifras decimales: AVG(

sql floating-point precision truncate 2012-06-20

---

9El calor

7Respuesta

Cuál es la manera correcta de parseFloat en Java

puedo tener algunos problemas con la precisión float de Java Float.parseFloat("0.0065") - 0.001 // 0.0055000000134110451 new Float("0.027") - 0.001 // 0.02600000000700354575 Float.value

java floating-point precision 2012-10-05

---

9El calor

5Respuesta

¿Cómo usar y verificar la precisión cuádruple en gfortran?

Estoy tratando de usar quad de precisión en gfortran, pero parece que el real*16 no funciona. Después de pescar, descubrí que puede implementarse como real*10. ¿Es realmente real*10 quad de precisión?

fortran precision 2012-07-09

---