precision

8El calor

3Respuesta

Rendimiento de punto flotante de 32 bits frente a de 64 bits

Me he encontrado con un problema curioso. Un algoritmo que estoy trabajando consiste en un montón de cálculos de este tipo q = x(0)*y(0)*z(0) + x(1)*y(1)*z(1) + ... donde la longitud de la suma está

performance floating-point precision 2010-06-29

---

192El calor

5Respuesta

JavaScript que muestra un flotante a 2 lugares decimales

Quería mostrar un número de 2 decimales. Pensé que podría usar toPrecision(2) en JavaScript. Sin embargo, si el número es 0.05, obtengo 0.0500. Prefiero que siga siendo el mismo. Véalo en JSbin. ¿Cuál

javascript floating-point precision 2010-07-02

---

6El calor

8Respuesta

Cómo calcular el tiempo de una operación en microsegundos de precisión

Quiero calcular el rendimiento de una función en precisión de micro segundos en la plataforma de Windows. Ahora Windows tiene una granulidad de milisegundos, así que ¿cómo puedo lograrlo? Intenté segu

c++ c windows performance precision 2010-05-13

---

7El calor

1Respuesta

Precisión de trabajo requerida para el algoritmo BBP?

Estoy buscando para calcular el n º dígito de Pi en un entorno de memoria baja. Como no tengo decimales disponibles, este integer-only BBP algorithm in Python ha sido un excelente punto de partida. So

python algorithm math precision pi 2010-05-24

---

9El calor

4Respuesta

Aritmética de coma flotante - Operador de módulo en el tipo doble

Así que estoy tratando de averiguar por qué el operador de módulo está devolviendo un valor inusual tan grande. Si tengo el código: double result = 1.0d % 0.1d; que dará un resultado de 0.099999999999

c# floating-point precision 2010-05-27

---

8El calor

7Respuesta

Determine la precisión decimal de un número de entrada

Tenemos un problema interesante si necesitamos determinar la precisión decimal de la entrada de un usuario (cuadro de texto). Esencialmente lo que necesitamos saber el número de decimales introducidos

c# decimal precision decimal-point 2010-07-19

---

87El calor

6Respuesta

¿Cuántos números dobles hay entre 0.0 y 1.0?

Esto es algo que he tenido en mente durante años, pero nunca me tomé el tiempo para preguntar antes. Muchos generadores de números (pseudo) aleatorios generan un número aleatorio entre 0.0 y 1.0. Mate

random floating-point double precision 2010-06-05

---

16El calor

3Respuesta

¿Por qué un C# System.Decimal recuerda los ceros al final?

¿Hay alguna razón por la que un C# System.Decimal recuerde el número de ceros finales con los que se ingresó? Véase el siguiente ejemplo: public void DoSomething() { decimal dec1 = 0.5M; de

c# decimal precision 2010-06-08

---

27El calor

9Respuesta

ArithmeticException lanzada durante BigDecimal.divide

Pensé que java.math.BigDecimal se supone que es la respuesta ™ a la necesidad de realizar una aritmética de precisión infinita con números decimales. Considere el siguiente fragmento: import java.math

java precision division bigdecimal financial 2010-05-01

---

6El calor

2Respuesta

almacenando valores dobles en SQLite: ¿cómo garantizar la precisión?

tengo un problema con valores dobles que necesito almacenar en una base de datos sqlite localizada en android. ya que estos valores representan los valores dobles GPS (lat & GNL), que realmente NEED u

android database sqlite double precision 2010-06-21

---