precision

12El calor

5Respuesta

Conversión de 8 bytes de binario little-endian en un flotador de precisión doble

Tengo un archivo binario que leo byte por byte. Me encuentro con una sección que es de 8 bytes de largo, con un flotador de doble precisión (pequeño endian). No puedo entender cómo leer esto y calcula

java parsing floating-point precision endianness 2011-06-24

---

12El calor

3Respuesta

¿Cómo puedo visualizar los números con mayor precisión en un cursor de datos MATLAB?

Tengo un problema con la pérdida de precisión. Me importa un conjunto de valores de un archivo CSV en MATLAB 7 usando el siguiente código: function importfile(fileToRead1) %#IMPORTFILE(FILETOREAD1)

matlab plot precision datatip 2011-05-11

---

6El calor

2Respuesta

Firefox y Javascript reglas de redondeo

No sé si estoy perdiendo algo obvio aquí, pero ... En IE, Opera y Chrome, consigo lo que espero de redondeo de números que terminan en un 5: 125 toPrecision(2) => 130 11.5 toPrecision(2) => 12 Esto

javascript firefox rounding precision 2011-07-04

---

16El calor

4Respuesta

¿Cómo veo los tiempos de consulta de alta precisión en la línea de comandos de mysql?

Estoy trabajando en algún trabajo de optimización, y he notado que en algunos volcados de mysql las personas publican en artículos y preguntas (que no puedo encontrar de nuevo ahora que estoy buscando

mysql timer command-line-interface precision 2011-05-23

---

5El calor

3Respuesta

¿Por qué mi Entity Framework convierte '2.87' en solo '2' (campo decimal)?

Comprobé que el valor correcto '2.87' entra en el servicio ... y de acuerdo con el diagrama EF, el tipo del campo 'Puntaje' es 'Decimal' ... Pero en la base de datos dice '2' [OperationContract]

sql tsql entity-framework decimal precision 2011-04-05

---

13El calor

3Respuesta

MATLAB precision

¿Cómo puedo implementar la precisión cuádruple (aritmética de 128 bits) en MATLAB mientras resuelvo un problema de autovalores de Matrix? Estoy tratando de resolver un problema de análisis de estabili

matlab floating-point precision 2011-04-06

---

11El calor

2Respuesta

Inestabilidad en DeleteDuplicates y Tally

Mientras preparaba una respuesta a Count how many different values a list takes in Mathematica encontré una inestabilidad (por falta de un término mejor) en ambos DeleteDuplicates y Tally que no entie

wolfram-mathematica duplicates precision 2011-05-29

---

24El calor

6Respuesta

¿Cómo crear un temporizador de alta resolución en Linux para medir el rendimiento del programa?

Estoy tratando de comparar la GPU con el rendimiento de la CPU. Para la GPU NVIDIA he estado utilizando los tipos cudaEvent_t para obtener un tiempo muy preciso. Para la CPU He estado usando el siguie

c linux timer precision high-resolution 2011-07-19

---

10El calor

8Respuesta

C# Convertir objeto a Decimal

Estoy tratando de convertir un objeto con el valor 0.39999999999999997 en una variable decimal sin perder la precisión. object d = 0.39999999999999997; He intentado los siguientes métodos. decimal v

c# .net types precision 2011-07-27

---

11El calor

5Respuesta

perdiendo la conversión de precisión de BigDecimal java a doble

Estoy trabajando con una aplicación que está basada completamente en dobles, y estoy teniendo problemas en un método de utilidad que analiza una cadena en un doble. Encontré una solución donde el uso

java floating-point double precision bigdecimal 2011-04-21

---