Esto es realmente un tema complicado, hay tantas opciones y compensaciones.
Con respecto al hardware Yo iría por un microcontrolador de gama baja, porque las cosas tienden a ser más fácil cuando se hacen más pequeñas, y cuanto más lejos desde el escritorio Cuanto más se aprende la mentalidad de programación integrado .
Dado que se encuentra en Japón, probablemente sea mejor verificar localmente qué controlador es popular, por lo que obtiene un buen apoyo de la comunidad y puede comprar fácilmente piezas.
Aquí en Alemania es AVR ATMEGA, y creo que es una buena opción. Tiene la mejor compatibilidad con las herramientas de GNU, está disponible en paquetes DIP y puede ejecutar su oscilador interno para que pueda ejecutarse fácilmente en una placa de prueba. El mayor obstáculo fue que necesitaba un programador de ISP. Hay un buen tutorial en alemán.
También tengo un R8C de Renesas, que podría ser más popular en Japón. Es más difícil ejecutar las herramientas GNU, tuve que construirlas yo mismo desde la fuente. Para MS-Windows existe la suite IAR Kickstart gratuita con un tamaño de código limitado a 4 KB. Se puede programar con una interfaz en serie (pero con niveles TTL). Obtuve un módulo FTDI USB-Serial para eso.
En cuanto a RTOS, eche un vistazo a OSEK, hay varias implementaciones gratuitas. Se puede usar en controladores muy pequeños.
También puede escribir un RTOS básico usted mismo, no es tan difícil y usted aprende más.