Como principio general, puse Whoosh en la misma categoría que SQLite: excelente para empezar, ideal para aplicaciones de un solo usuario o realmente a pequeña escala, pero no adecuado para una implementación a gran escala.
Whoosh es, en mi experiencia, un orden de magnitud más lento que Solr. Una búsqueda típica contra un gran índice de Solr que tengo en producción demora alrededor de una centésima de segundo; la misma búsqueda usando Whoosh y los mismos datos toman aproximadamente una décima de segundo.
Debería decidir qué es "lo suficientemente rápido" para usted, pero no creo que Whoosh sea una buena idea para cualquier cosa en la que espere un alto rendimiento.
Actualización: A partir de noviembre de 2009, Solr y Xapian son compatibles. Ver http://haystacksearch.org/docs/backend_support.html –