¿Hay alguna herramienta o utilidad o script perl/python que pueda encontrar las subcadenas más largas en un archivo de texto grande e imprimir esos patrones y el número de veces que ocurre cada patrón?Utilidad para encontrar cadenas repetidas lo más largas posible
http://en.wikipedia.org/wiki/Longest_repeated_substring_problem:
El problema subcadena más larga repetida es encontrar la subcadena más larga de una cadena que se produce al menos dos veces. Este problema puede ser resuelto en el tiempo lineal y el espacio mediante la construcción de un árbol de sufijos para la cadena, y encontrar el nodo interno más profundo en el árbol
árboles de sufijos en Python (un poco anticuado, aunque ..) : http://hkn.eecs.berkeley.edu/~dyoo/python/suffix_trees/
implementación de JavaScript con mayor explicación: http://www.allisons.org/ll/AlgDS/Tree/Suffix/
información relevante: http://en.wikipedia.org/wiki/Longest_repeated_substring_problem – kennytm