¿Alguien ha usado la programación de flujo de datos en un proyecto real con un lenguaje convencional?

Question

Estoy buscando utilizar algunas técnicas de programación de Dataflow en un programa clojure, pero estoy teniendo dificultades para encontrar mucha información de proyectos que usan Java, C# u otros lenguajes principales que han utilizado tales técnicas en el mundo real. Estaría agradecido de saber si alguien tiene alguna experiencia que puedan compartir al respecto.

Answer 1

¡Aquí estamos! Hemos hecho ... (cita es de uno de mis post mayores):

Hemos diseñado e implementado un servidor DF para nuestro proyecto de automatización (despachador, componente iterface, un montón de componentes , Lenguaje DF, DF compilador, UI). Está escrito en bare C++, y se ejecuta en varios sistemas tipo Unix (Linux x86, MIPS, avr32 etc., Mac OSX). Carece de varias funciones, p. control de flujo sofisticado, control del hilo compleja (sólo hay un componente no demasiado avanzado para ello), por lo que es sólo un prototipo, incluso se obras. Ahora estamos trabajando en un servidor con todas las funciones . Hemos aprendido el lote durante la implementación y el uso del prototipo .

Además, haremos un editor visual algunos día.

No tenemos los sistemas de flujo de datos Wich ni siquiera mencionan el enfoque de flujo de datos:

• SynthEdit: http://www.synthedit.com/ - Es un marco y un componente Conjunto relacionado audio para la creación de plugins VST
• TinyOS: http://www.tinyos.net/ - Es un sistema operativo embebido/marco
• synthetisers digitales/muestreadores son sistemas de flujo de datos, programados - supuestamente - en C o en algunas partes del montaje, compruebe my answer to another post about some examples.
• Quartz Composer, una herramienta gráfica mágica para Mac,
• Blender tiene un subsistema de flujo de datos para la composición de imágenes.

Escribir un sistema de flujo de datos no es una ciencia de cohetes. Aquí está mi publicación anterior about the basics of dataflow framework.

El término flujo de datos es amplio. Hay sistemas de flujo de datos síncronos en tiempo real, como sintetizadores y muestreadores, hay asíncronos, como nuestro aut de inicio. sistema (el sistema está en ralentí a menos que el usuario presiona un botón o un tiempo llega a cero), y hay incluso diferentes arquitecturas, como hojas de cálculo o hacer .

¿Desea leer más acerca de la programación del flujo de datos? Lee J. Paul Morrison's site and book.

Answer 2

Pervasive DataRush es un marco para la programación de flujo de datos paralelo para cualquier lenguaje de máquina virtual Java, incluyendo Clojure.

Pervasive DataRush utiliza una arquitectura de flujo de datos. La arquitectura implementa un programa que se ejecuta como un gráfico de nodos de computación interconectados por colas de flujo de datos. Los nodos usan las colas para compartir datos.A medida que se transmiten los datos, solo los datos requeridos por cualquier operación activa deben estar en la memoria en un momento dado, lo que permite analizar conjuntos de datos muy grandes. Además de ofrecer la posibilidad de escalar a problemas más grandes que la memoria disponible, los gráficos de flujo de datos explotan múltiples formas de paralelismo.

Los clientes están utilizando DataRush para el análisis de big data y la preparación de datos (ETL).

Answer 3

Hemos hecho otro: una hoja de cálculo colaborativa con backend MySQL/PHP y frontend AJAX. El software está en estado beta, la documentación está en construcción.