Es solo una decisión arquitectónica. La gran ventaja de los modos múltiples es que tienen algunos registros bancarizados. Esos registros extra le permiten escribir mucho rutinas de excepción menos complicadas.
Si tuviera que elegir solo dos, solo USR y SYS son probablemente la mejor opción, pero ¿qué pasaría si tomara una excepción? El modelo ARM normal es ir a un modo de excepción, configurar el registro de enlace almacenado para ese modo de excepción para que apunte a la instrucción a la que desea regresar después de resolver la excepción, guardar el estado del procesador en el registro SPSR del modo de excepción y luego salta al vector de excepción. USR y SYS comparten todos sus registros: con este modelo, volarías la dirección de devolución de funciones (en LR) cada vez que tomaras una interrupción.
El modo FIQ en particular tiene aún más registros bancarizados que los otros modos de excepción. Esos registros adicionales están en consonancia con la parte "F" de FIQ - significa "rápido". No tener que guardar y restaurar más contexto del procesador en el software acelerará su manejador de interrupciones.