precision

7El calor

7Respuesta

JavaScript 64 bits de precisión numérica

¿Hay alguna forma de representar un número con una precisión superior a 53 bits en JavaScript? En otras palabras, ¿hay alguna forma de representar el número de precisión de 64 bits? Estoy tratando de

javascript 64bit precision 2009-02-03

---

15El calor

7Respuesta

Asegurando que los dobles de C++ son 64 bits

En mi programa C++, necesito extraer un flotador de 64 bits de una secuencia de bytes externa. ¿Hay alguna forma de garantizar, en tiempo de compilación, que los dobles sean 64 bits? ¿Hay algún otro t

c++ types precision compiler-construction ieee-754 2009-04-15

---

16El calor

6Respuesta

división decimal de T-SQL Precisión

¿Alguien sabe por qué, utilizando SQL Server 2005 SELECT CONVERT(DECIMAL(30,15),146804871.212533)/CONVERT(DECIMAL (38,9),12499999.9999) me da 11,74438969709659, pero cuando puedo aumentar el número

tsql precision 2009-01-08

---

25El calor

2Respuesta

C# Conversión de precisión de 20 dígitos de doble a cadena y viceversa

En C#. Tengo un doble (que he extraído de una base de datos) que tiene una precisión de 20 dígitos. En Visual Studio (usando QuickWatch) puedo ver que el valor del doble es = 0,00034101243963859839. Q

c# double precision tostring 2009-03-04

---

8El calor

4Respuesta

MATLAB - pregunta de piso

Soy un principiante de MATLAB. Aquí está el problema: >> a = floor(7/2.5) a = 2.00 >> b = rem(7,2.5) b = 2.00 >> c = floor(b/2) c = 0 c debería ser 1, ¿verdad? ¿Por qu

matlab floating-point precision number-rounding 2009-06-26

---

7El calor

4Respuesta

¿Mejor algoritmo para evitar la pérdida de precisión?

Una asignación reciente de tarea que he recibido nos pide que tomemos expresiones que podrían crear una pérdida de precisión cuando se realizan en la computadora, y las alteramos para evitar esta pérd

precision numerical-analysis 2009-02-02

---

6El calor

8Respuesta

pérdida inesperada de precisión cuando se divide dobles

tengo un getSlope función que toma como parámetros 4 dobles y devuelve otro doble calculada usando estos parámetros dados de la siguiente manera: double QSweep::getSlope(double a, double b, double c,

c++ double precision 2009-03-30

---

7El calor

7Respuesta

¿Por qué afecta el orden del redondeo al agregar múltiples dobles en C#

Consideremos el siguiente código C#: double result1 = 1.0 + 1.1 + 1.2; double result2 = 1.2 + 1.0 + 1.1; if (result1 == result2) { ... } resultado1 debe ser siempre igual result2 ¿verdad?

c# .net compiler-construction rounding precision 2009-03-30

---

5El calor

3Respuesta

de coma flotante Limitaciones

Mi código: a = '2.3' quería mostrar a como un valor de punto flotante. Desde a es una cadena, he intentado: float(a) El resultado que obtuve fue: 2.2999999999999998 Quiero una solución para este

python floating-point precision floating-accuracy 2009-01-02

---

17El calor

5Respuesta

Representación de números enteros en dobles

¿Puede un doble (de un número dado de bytes, con un equilibrio de mantisa/exponente razonable) mantener con precisión el rango de un entero sin signo de la mitad de ese número de bytes? E.g. ¿Puede un

c math floating-point precision ieee-754 2009-04-17

---