Cadena de Ruby # caracteres gsub, unicode y sin palabra

Question

Como parte de una serie más grande de operaciones, estoy tratando de tomar pedazos tokenizados de una cadena más grande y deshacerme de la puntuación, palabras sin sentido, etc. primer intento de utilizar String#gsub y la clase de caracteres \W expresión regular, así:

my_str = "Hello," 
processed = my_str.gsub(/\W/,'') 
puts processed # => Hello 

super, super, super simple. Por supuesto, ahora estoy ampliando mi programa para tratar con caracteres no latinos, y todo se rompe. Ruby's \W parece ser algo así como [^A-Za-z0-9_], que, por supuesto, excluye cosas con signos diacríticos (ü, í, etc.). Por lo tanto, ahora mis ex-simples accidentes y quemaduras de código de forma desagradable:

my_str = "Quística." 
processed = my_str.gsub(/\W/,'') 
puts processed # => Qustica 

en cuenta que una gsub() amablemente eliminado el carácter "i" acentuado. Una forma en que pensé arreglar esto sería extender Ruby's \ W whitelist para incluir puntos de código Unicode más altos, pero hay una gran cantidad de ellos, y sé que extrañaré algunos y causaré problemas en el futuro (y ni siquiera comencemos a pensar en idiomas no latinos ...). Otra solución sería poner en lista negra todas las cosas que quiero eliminar (puntuación, $ /%/&/™, etc.), pero, una vez más, hay una gran cantidad de eso y yo realmente no quiero comienza a jugar blacklist-whack-a-mole.

¿Alguien ha encontrado una solución de principio para este problema? ¿Hay alguna versión oculta, compatible con Unicode de \W que aún no haya descubierto? ¡Gracias!

Answer 1

Debe ejecutar ruby ​​con la opción "-Ku" para que use UTF-8. Consulte la documentación para command-line options. Esto es lo que sucede cuando hago esto con irb:

% irb -Ku 
irb(main):001:0> my_str = "Quística." 
=> "Quística." 
irb(main):002:0> processed = my_str.gsub(/\W/,'') 
=> "Quística" 
irb(main):003:0> 

¡También puede ponerlo en el #! línea en el script Ruby:

#!/usr/bin/ruby -Ku 

Answer 2

me gustaría añadir que en 1.9.1 funciona por defecto.

$ irb 
ruby-1.9.1-p243 > my_str = "Quística." 
=> "Quística." 
ruby-1.9.1-p243 > processed = my_str.gsub(/\W/,'') 
=> "Quística" 
ruby-1.9.1-p243 > processed.encoding 
=> #<Encoding:UTF-8> 

PS. Nada es mejor que rvm para probar diferentes versiones de Ruby. DS.