Convertir UTF8 en valores numéricos en Perl

Question

Por ejemplo,

my $str = '中國c'; # Chinese language of china 

Quiero imprimir los valores numéricos

20013,22283,99 

Answer 1

unpack será más eficiente que split y ord, porque no tiene que ser hacer un montón de cadenas de 1 carácter temporal:

use utf8; 

my $str = '中國c'; # Chinese language of china 

my @codepoints = unpack 'U*', $str; 

print join(',', @codepoints) . "\n"; # prints 20013,22283,99 

Un punto de referencia rápida muestra que es aproximadamente 3 veces más rápido que split+ord:

use utf8; 
use Benchmark 'cmpthese'; 

my $str = '中國中國中國中國中國中國中國中國中國中國中國中國中國中國c'; 

cmpthese(0, { 
    'unpack'  => sub { my @codepoints = unpack 'U*', $str; }, 
    'split-map' => sub { my @codepoints = map { ord } split //, $str }, 
    'split-for' => sub { my @cp; for my $c (split(//, $str)) { push @cp, ord($c) } }, 
    'split-for2' => sub { my $cp; for my $c (split(//, $str)) { $cp = ord($c) } }, 
}); 

Resultados:

   Rate split-map split-for split-for2  unpack 
split-map 85423/s   --  -7%  -32%  -67% 
split-for 91950/s   8%   --  -27%  -64% 
split-for2 125550/s  47%  37%   --  -51% 
unpack  256941/s  201%  179%  105%   -- 

La diferencia es menos pronunciada con una cadena más corta, pero unpack es más del doble de rápido. (split-for2 es un poco más rápido que las otras divisiones, ya que no construye una lista de puntos de código.)

Answer 2

Ver perldoc -f ord:

foreach my $c (split(//, $str)) 
{ 
    print ord($c), "\n"; 
} 

o comprimidos en una línea única: my @chars = map { ord } split //, $str;

Data::Dumper ed, esto produce:

$VAR1 = [ 
      20013, 
      22283, 
      99 
     ]; 

Answer 3

Tener UTF-8 en el código fuente reconocida como tal, debe use utf8; de antemano:

$ perl 
use utf8; 
my $str = '中國c'; # Chinese language of china 
foreach my $c (split(//, $str)) 
{ 
    print ord($c), "\n"; 
} 
__END__ 
20013 
22283 
99 

o más concisamente,

print join ',', map ord, split //, $str; 

Answer 4

http://www.perl.com/pub/2012/04/perlunicook-standard-preamble.html

#!/usr/bin/env perl 


use utf8;  # so literals and identifiers can be in UTF-8 
use v5.12;  # or later to get "unicode_strings" feature 
use strict; # quote strings, declare variables 
use warnings; # on by default 
use warnings qw(FATAL utf8); # fatalize encoding glitches 
use open  qw(:std :utf8); # undeclared streams in UTF-8 
# use charnames qw(:full :short); # unneeded in v5.16 

# http://perldoc.perl.org/functions/sprintf.html 
# vector flag 
# This flag tells Perl to interpret the supplied string as a vector of integers, one for each character in the string. 

my $str = '中國c'; 

printf "%*vd\n", ",", $str;