Careless Love, editado en 2004, es una rica colección de versiones con temas de Bob Dylan a James P Johnson, e incluyó la interpretación histórica de Peyroux de Dance Me to the End of Love de Leonard Cohen. Para el único original del álbum, el productor Klein y Jesse Harris coescribieron la melodía característica de Madeleine y la favorita de muchos fans, Don't Wait Too Long. Con unas ventas de medio millón de copias, el álbum trasladó a Peyroux del ámbito exclusivo del Jazz al ámbito convencional, y sigue siendo su lanzamiento más popular. Esta edición de lujo incluye un directo completo inédito de 2005, grabado por la Radio Pública Vasca para el Festival de Jazz de Vitoria-Gasteiz. Madeleine interpreta el repertorio de Careless Love, además de canciones adicionales.
