constreñido de regresión lineal en Python

Question

I tiene un problema classic linear regresión de la forma:

y = X b

donde y es un vector respuestaX es una matriz de variables de entrada y b es el vector de ajustar los parámetros que estoy buscando.

Python proporciona b = numpy.linalg.lstsq(X , y) para la solución de problemas de esta forma.

Sin embargo, cuando uso esto, suelo obtener valores extremadamente grandes o extremadamente pequeños para los componentes de b.

me gustaría realizar la misma forma, pero restringir los valores de b entre 0 y 255.

Parece que scipy.optimize.fmin_slsqp() es una opción, pero me pareció extremadamente lento para el tamaño del problema I' m interesado en (X es algo así como 3375 by 1500 y con suerte aún más grande).

1. ¿Hay alguna otra opción de Python para realizar ajustes de cuadrados menos restringidos ?
2. ¿O hay rutinas de pitón para realizar Lasso Regression o Ridge Regression o algún otro método de regresión que penaliza valores de coeficientes grandes b?

Answer 1

Tenga una mirada en: http://scipy-central.org/item/17/3/pymls-solving-bounded-linear-least-squares-problems

también Openopt tiene enlaces con bvls, otro acotado solucionador de LSQ lineal.

Editar: También podría intentar si scipy.optimize.nnls es suficiente.

Answer 2

scipy-optimize-leastsq-with-bound-constraints en da SO leastsq_bounds, que es scipy leastsq + limitaciones unidos como 0 < = x_i < = 255.
(Scipy leastsq envuelve minpack, una de varias implementaciones de la ampliamente utilizada Levenberg–Marquardt algorithm amortiguada aka mínimos cuadrados
Existen varias formas de implementar los límites; leastsq_bounds es el más simple.)

Answer 3

Menciona que encontrará que Lasso Regression o Ridge Regression son aceptables. Estos y muchos otros modelos lineales restringidos están disponibles en el paquete scikit-learn. Consulte el section on generalized linear models.

Normalmente, restringir los coeficientes implica algún tipo de parámetro de regularización (C o alfa) --- algunos de los modelos (los que terminan en CV) pueden usar la validación cruzada para establecer automáticamente estos parámetros. También puede restringir aún más los modelos para usar solo coeficientes positivos, por ejemplo, hay una opción para esto en el modelo de Lasso.