"Teoría General" de la CAS es un ámbito bastante grande para una pregunta. Dicho esto, voy a hacer mi mejor esfuerzo para cubrir tanto como pueda con la esperanza de que algo ayuda a encontrar lo que está buscando :)
Las actas de la ISSAC y grupos SIGSAM sin duda tener algún buenas cosas sobre las técnicas para construir sistemas CAS. Una lista de varios temas en el área general del edificio CAS está disponible aquí: http://www.cs.berkeley.edu/~fateman/algebra.html
Si está buscando más información sobre cómo codificar algunas de las matemáticas involucradas, soy un fanático de las "Recetas Numéricas" serie; proporciona un código de muestra y una explicación razonablemente decente de las matemáticas en una amplia gama de temas. La última vez que verifiqué, una versión en línea de una versión anterior del libro estaba disponible aquí: http://www.nrbook.com/a/bookcpdf.php (Tenga en cuenta que esta es la forma del libro "Recetas numéricas en C"; también hay versiones en otros idiomas).
Para construir un CAS en general, un lugar para comenzar podría ser aquí: "Construir un entorno de álgebra computacional mediante la composición de herramientas colaborativas" por Kajler y Safir; Otro lugar donde puede consultar está aquí: http://www.math.wpi.edu/IQP/BVCalcHist/calc5.html donde se detalla una descripción de alto nivel de cómo algunas personas implementaron un CAS.
La otra cosa que puede probar es el buceo en el código para algunos de los proyectos de CAS de código abierto que existe: Yacas (otro sistema de Cálculo Simbólico: Java), axioma, etc. Me gusta la lista aquí: http://en.wikipedia.org/wiki/List_of_computer_algebra_systems
Espero que haya algo útil.
Gracias por la información, revisaré los enlaces y quizás te molestaré por más información en el futuro. –