Con algunos ajustes (habilite JQuery noConflict-Mode, reemplace $ selector por algo como $ jq) debería poder trabajar ambos.
Sin embargo, puede acabar fácilmente con una aplicación de Frankenstein que combine los complementos de MooTools y Jquery. Además, la carga de javascript es bastante enorme, porque debe incluir Mootools, JQuery Y sus juegos de herramientas de interfaz de usuario de nivel superior.
Recomiendo que investigue si JQuery UI podría reemplazar MochaUI (o viceversa). Una combinación de JS lib + UI toolkit es mucho más fácil de mantener.
La desventaja de MochaUI es que tiene algunos problemas con IE8, además, no está muy actualizado (último lanzamiento de septiembre de 2008).
JQuery UI es mucho más modular (puede simplemente elegir las piezas que necesita), tiene un editor de temas CSS visual (Themeroller) y ofrece un calendario de lanzamiento de 2 meses. Sus desventajas: todavía no cubre los componentes esenciales de la interfaz de usuario (como un menú, un administrador de "ventana gráfica" que le presenta componentes de interfaz de usuario, paletas). Sin embargo, estas características se esperan pronto.
Actualización: la versión estable más reciente en su github es junio de 2010 (https://github.com/mui/mochaui/downloads), y todavía están realizando cambios, aunque escasamente (https://github.com/mui/mochaui/commits/develop). jQuery UI todavía no tiene Grid (http://wiki.jqueryui.com/w/page/34246941/Grid), aunque esperan tener pronto Menu (http://wiki.jqueryui.com/w/page/ 12137997/Menu) y Panel (http://wiki.jqueryui.com/w/page/12137759/Panel). –