<%= ... %>
es generalmente equivalente a Response.Write (...) no se puede usar en un atributo de control que es runat = "server"
<%: ... %>
(a partir de .NET v4.0) es una versión html codificada de <%= %>
(como se menciona @Eric)
<%# ... %>
se utiliza en el contexto de enlace de datos para Bind, Eval o de salida (como se menciona @Ray)
<%$ ... %>
se utiliza en el contexto de un atributo de control con runat = "server" (google "expression builder" también tiene un propósito general 'Code' expression builder. Se evalúa cuando el control requiere el atributo/parámetro
En cuanto a la terminología, creo que se llaman expresiones en línea. – AaronLS