IBM MQ para transferencia de archivos

Question

Estamos ante la opción de utilizar IBM MQ sobre SFTP para la transferencia de archivos. He escuchado las ventajas de este enfoque, pero nunca vi a nadie usarlo para archivos grandes.

Entonces pregunta principal: ¿qué tan bien IMB MQ puede manejar la transferencia de archivos grandes (hasta 100 MB)? ¿Es estable? Es de un mainframe a un servidor UNIX, si es que importa.

Muchas gracias.

Answer 1

He usado MQ con archivos de hasta 8 GB de tamaño, sin incidentes. Debe asignar suficiente espacio para que MQ los administre, pero funciona.

Answer 2

Los proveedores han estado haciendo la transferencia de archivos a través de un sistema de mensajería como WebSphere MQ durante más de 12 años. No he usado el producto de IBM. Sin embargo, sé hasta hace poco que IBM vendió de nuevo el producto de Metastorm (bajo la marca PM4Data) y recientemente entró al mercado con un producto de primera generación.

He visto Metastorm Integration Manager manejar archivos de tamaños de terabytes todo el tiempo; dividir los mensajes en WebSphere MQ y realizar reconocimientos de buffers para no desbordar las colas de mensajes o tener que hacer una gran cantidad de MQ Administration.

Otras consideraciones que valen la pena de la utilización de los sistemas de mensajería para transferencia de archivos frente a SFTP incluyen:

1. pre-y post-Data Handling Movimiento - como un transporte de la red de datos, SFTP mueve (como se puede presentar productos de transferencia sobre WebSphere MQ). Para realizar el procesamiento previo o posterior al movimiento, debe escribir su propia monitorización, activación, manejo de errores, etc. Los proveedores maduros en la transferencia de archivos a través del espacio de mensajería proporcionan la infraestructura lista para usar. Dependiendo de su aplicación, también pueden ayudar
2. Audit Trail - SFTP proporciona a menudo proporcionar registro a nivel del sistema. A menudo, los proveedores que proporcionan integración de archivos a través de MQ tienen mayores capacidades de auditoría, incluyendo el manejo de movimiento previo y posterior a los datos. Algunos proveedores también ofrecen sistemas seguros basados ​​en la web para exponer ciertas integraciones a usuarios autorizados.
3. Exception Handling - SFTP dará mensajes de error síncronos a partir de los cuales codifica su lógica de error. Los proveedores que proporcionan integración de archivos a través de MQ a menudo brindan capacidades de excepción que van desde "aquí hay un mensaje en la cola que indica que ocurrió un problema ... buena suerte" hasta la integración integrada en las consolas basadas en la Web o incluso en el sistema BPM.
4. Tratamiento de la transferencia de archivos como servicio - Muchas veces, la transferencia de archivos es parte de un proceso comercial más amplio. Algunos proveedores aprovechan esto para encadenar transferencias de archivos e incluso hacer que colaboren con procesos centrados en el ser humano para proporcionar visibilidad de extremo a extremo en el contexto de una transferencia de archivos punto a punto. Además, el uso de sistemas de mensajería para la transferencia de archivos ayuda a mover a una organización a un enfoque más orientado a mensajes en tiempo real.

Espero que los detalles adicionales brinden algunos detalles en su evaluación. ¡Buena suerte!

Answer 3

MQ en sí mismo ofrece comunicación basada en mensajes entre programas. No puedes usarlo directamente para transferir archivos. Las personas que hablan de "enviar archivos a través de MQ" a menudo significan que escribirán los programas ellos mismos para leer de un archivo, enviar MQ, recibir de MQ y escribir en otro archivo. Esto suena tentadoramente trivial al principio, pero rápidamente se vuelve muy complejo si quieres que sea robusto. No recomendado.

Lo que debe hacer si desea involucrar a MQ en sus transferencias de archivos es utilizar uno de los productos de transferencia de archivos que se encuentran en MQ. Hay una serie de ofertas maduras, de las cuales no sé casi nada, junto con un nuevo producto de la propia IBM ("Websphere MQ File Transfer Edition") que se está desarrollando activamente y que recientemente anunció una versión actualizada (7.0.1).

Para responder a su pregunta específica, he utilizado WMQFTE personalmente para transferir un archivo de 1000 GB de una máquina AIX a una de Windows, así que no creo que sus archivos "grandes" de 100 MB sean un problema :-) . No me involucro tanto con el mainframe, pero es una plataforma central para FTE.

Answer 4

En una de las respuestas anteriores, no es la declaración followng:

La gente habla de "Envío de archivos a través de MQ" a menudo significan que van a escribir los programas en sí mismos para leer desde un archivo, enviar a través de MQ , recibir de MQ y escribir en otro archivo. Esto suena tentadoramente trivial al principio, pero rápidamente se vuelve muy complejo si quieres que sea robusto. No recomendado.

En teoría, sería bueno "el envío de archivos a través de MQ", ya que recibiría un mensaje de confirmación de entrega (COD) cuando el destinatario tiene (leer) el archivo de la cola. Otro beneficio sería que el archivo se eliminará automáticamente de la cola cuando el destinatario lo (leyó) de la cola.

¿Quizás sepa si lo anterior (o algo similar) es ofrecido por MQFTE?

Answer 5

Capitalwares Universal File Mover es una opción aquí.

También WebSphere Message Broker for Remote Adapter Deployment y WebSphere MQ File Transfer Edition son opciones a considerar.