El único álbum del proyecto, Give Up, se publicó el 18 de febrero de 2003. El disco fue producido por Chris Walla, que a su vez tocó la guitarra y el piano en varios de los temas del disco. Jenny Lewis también colaboró con su voz en varios temas del disco. El sencillo más conocido de este álbum es "Such Great Heights", al que también le acompañaron "We Will Become Silhouettes" y "The District Sleeps Alone Tonight". El disco fue el mayor éxito de ventas de la discográfica Sub Pop desde que Nirvana lanzase su disco debut, Bleach.