Encontrar cadenas que difieran, como máximo, de una letra de una cadena determinada en SAS con PROC SQL

Question

Primero algo de contexto. Estoy usando proc sql en SAS, y necesito buscar todas las entradas en un conjunto de datos (con un par de millones de entradas) que tienen la variable "Nombre" igual a (digamos) "Massachusetts". Por supuesto, dado que los datos fueron ingresados ​​manualmente por humanos, se producen cerca de todos los errores ortográficos concebibles ("Amssachusetts", "Kassachusetts", etc.).

He encontrado que algunas entradas reciben más de dos caracteres mal, por lo que el código de

Name like "__ssachusetts" OR Name like "_a_sachusetts" OR ... OR Name like "Massachuset__" 

gustaría seleccionar las entradas Estoy buscando. Sin embargo, espero que haya una manera más conveniente de escribir

Name that differs by at most 2 characters from "Massachusetts"; 

¿Hay alguna? ¿O hay alguna otra estrategia para obtener estas entradas? Intenté buscar stackoverflow y la web, pero no tuve éxito. También soy un principiante relativo tanto con SQL como con SAS.

Alguna información adicional: La base de datos no está en inglés (y la cadena real no es "Massachusetts") por lo que usar SOUNDEX no es realmente factible (si alguna vez lo fue).

Gracias de antemano.

(Edit: Mejorado el título)

Answer 1

SAS tiene funciones integradas COMPGED y COMPLEV para calcular distancias entre cadenas. He aquí un ejemplo que muestra cómo seleccionar sólo a aquellos con una distancia de edición Levenshtein inferior o igual a 2.

data typo; 
input name $20.; 
datalines; 
massachusetts 
masachusets 
mssachusetts 
nassachusets 
nassachussets 
massachusett 
; 

proc sql; 
    select name from typo 
    where complev(name, "massachusetts") <= 2; 
quit; 

Answer 2

Hay otros algoritmos fonéticos como Hamming distance que deberían funcionar mejor. Puede buscar en Google la implementación de este algoritmo para su motor de DB específico.

Answer 3

podría implementar una función almacenada de este tipo (la sintaxis de Oracle, transformar a su RDBMS):

CREATE FUNCTION distance(one VARCHAR2, two VARCHAR2) RETURN NUMBER IS 
DETERMINISTIC 
BEGIN 
    -- do some comparison here 
END distance; 

y luego usarlo en SQL:

SELECT * FROM table WHERE distance(name, 'Massachusetts') <= 2 

Por supuesto, estas cosas tienden para ser bastante lento ...

Answer 4

Lo que estás buscando es "Approximate string matching". Para eso se puede usar "Levenshtein distance computing algorithm". No estoy seguro, pero espero que this answer will help

Answer 5

Sé que esto es de cuatro años demasiado tarde, pero ya que también podría dar ideas a otros que están buscando este hilo: Lo que está considerando es un diseño de capas semánticas que necesitaría implementar alguna lógica condicional para estas diferentes comparaciones de texto, utilizando distancias Lenvenschtien como Jaro-Winkler para comparar textos de diferentes longitudes y Hamming para los de la misma longitud para la cual se supone transposicionamiento de texto simple. Esto no es nada nuevo en estos días con todos los diversos programas de minería de textos que hay. Aquí hay una publicación que es muy buena desde mi punto de vista; Jaro-Winkler string comparison function in SAS