Uso de JavaScript para truncar texto a un tamaño determinado (8 KB)

Question

Uso la API Zemanta, que acepta hasta 8 KB de texto por llamada. Estoy extrayendo el texto para enviarlo a Zemanta desde páginas web usando JavaScript, así que estoy buscando una función que trunque mi texto exactamente a 8 KB.

Zemanta debería hacer este truncamiento por sí mismo (es decir, si le envía una cadena más grande), pero necesito enviar este texto un poco antes de hacer la llamada API, así que quiero mantener la carga tan pequeña como posible.

¿Es seguro asumir que 8 KB de texto son 8.192 caracteres, y truncar en consecuencia? (1 byte por carácter, 1.024 caracteres por KB, 8 KB = 8.192 bytes/caracteres) O, ¿es eso incorrecto o solo cierto dadas ciertas circunstancias?

¿Hay una forma más elegante de truncar una cadena en función de su tamaño de archivo real?

Answer 1

Si está utilizando una codificación de un solo byte, sí, 8192 caracteres = 8192 bytes. Si está utilizando UTF-16, 8192 caracteres (*) = 4096 bytes.

(en realidad 8192 puntos de código, que es una cosa un poco diferente en la cara de los sustitutos, pero no hay que preocuparse por eso, porque JavaScript no lo hace.)

Si está utilizando UTF-8, hay una truco rápido que puede utilizar para implementar un UTF-8 codificador/decodificador de JS con el código mínimo:

function toBytesUTF8(chars) { 
    return unescape(encodeURIComponent(chars)); 
} 
function fromBytesUTF8(bytes) { 
    return decodeURIComponent(escape(bytes)); 
} 

ya se puede truncar con:

function truncateByBytesUTF8(chars, n) { 
    var bytes= toBytesUTF8(chars).substring(0, n); 
    while (true) { 
     try { 
      return fromBytesUTF8(bytes); 
     } catch(e) {}; 
     bytes= bytes.substring(0, bytes.length-1); 
    } 
} 

(la razón para el try-c Por ejemplo, si truncas los bytes en el medio de una secuencia de caracteres multibyte obtendrás una secuencia UTF-8 inválida y decodeURIComponent se quejará).

Si se trata de otra codificación multibyte como Shift-JIS o Big5, estás sólo en esto.

Answer 2

No, no es seguro suponer que 8 KB de texto son 8192 caracteres, ya que en algunas codificaciones de caracteres, cada carácter ocupa multiple bytes.

Si está leyendo los datos de los archivos, ¿no puede simplemente tomar el tamaño del archivo? ¿O leerlo en pedazos de 8 KB?

Answer 3

Como dice Dominic, la codificación de caracteres es el problema - sin embargo, si usted puede realmente asegurarse de que sólo va a lidiar con caracteres de 8 bits (poco probable pero posible) o asumir caracteres de 16 bits y se limite a la mitad el espacio disponible, es decir, 4096 caracteres, entonces podrías intentarlo.

Aunque es una mala idea confiar en JS porque se puede modificar o ignorar de manera trivial y tiene complicaciones con los caracteres de escape y la codificación, por ejemplo. Es mejor utilizar JS como un filtro de primera oportunidad y usar el lenguaje del lado del servidor que tenga disponible (que también abrirá la compresión).