En inglés americano, base de datos generalmente significa "una recopilación organizada de datos". Una base de datos suele estar bajo el control de un sistema de gestión de bases de datos, que es un software que, entre otras cosas, gestiona el acceso multiusuario a la base de datos. (Por lo general, pero no necesariamente. Algunas bases de datos simples son solo archivos de texto procesados con lenguajes interpretados como awk y Python.)
En el mundo de SQL, que es con lo que estoy más familiarizado, una base de datos incluye cosas como tablas, vistas, procedimientos almacenados, disparadores, permisos y datos.
De nuevo, en inglés americano, conjunto de datos generalmente se refiere a los datos seleccionados y organizados en filas y columnas para el procesamiento por software estadístico. Los datos pueden provenir de una base de datos, pero puede que no.