Après l’enregistrement du premier CD éponyme en studio, la Mule sort en octobre 1996, sur le label Foundation, le « Live at Roseland Ballroom » enregistré à New York dans la nuit du 31/12/1995 qui inaugure une longue série de prises live.
C’est sur scène que la musique du groupe prend toute sa dimension, la fabuleuse culture musicale des trois musiciens fait merveille et Warren peut les emmener dans de longues improvisations, Allen et Matt suivent sans problème.

Le premier morceau, « Trane », long de seize minutes, en est la preuve. Warren multiplie les clins d’œil à l’Allman Brothers Band, reprend le thème d’un morceau de Jimi Hendrix (« Third Stone From The Sun ») puis « Etenity’s Breath » un morceau qui figure sur Visions of the Emerald Beyond du Mahavishnu Orchestra de John Mc Laughlin, pour terminer sur « St Stephen Jam » du Grateful Dead !
Ce long morceau d’ouverture est un pur bonheur, les trois musiciens sont parfaitement synchronisés, et « Trane » sera une pièce majeure des concerts de la première partie de la carrière du groupe, prétexte à de nombreuses improvisations qui en font un « jam-band » terme un peu galvaudé, tant il fait penser à de longues séquences ennuyeuses.
Rien de tel ici, que de la beauté à l’état pur.

Suivent encore deux morceaux du premier album « Temporary Saint » et « Painted Silver Light » qui aussi prennent une autre dimension devant le public.
Les deux morceaux suivants sont des reprises, et c’est une autre spécificité du groupe, celle de reprendre des morceaux venant de différents groupes, la suite de leur carrière le démontrera.
Pour l’instant, c’est du Steppenwolf avec « Don't Step On The Grass, Sam » et « Kind Of Bird » de l’ABB (qui figure sur l’album Shades of Two World »).
Autant la reprise du second morceau ne surprend pas, Warren et Allen officiant dans les Allman, autant l’univers musical de Steppenwolf est assez éloigné de celui de Gov’t Mule. Pourtant il s’intègre parfaitement dans la set-list du concert.

L’album se termine avec « Mule » toujours extrait du premier album, et ici encore, c’est une longue improvisation incluant le fameux « Who do you Love » de Bo Diddley.

A noter qu’il existe, une réédition de ce live (en mai 2006) avec en bonus une version inédite de Voodoo Chile, avec Jack Casady et Chuck Lavell, enregistrée au même endroit le 18 octobre 2001, le bassiste de l’Airplane remplaçant Allen Woody, décédé.

Le succès de ce live précipitera le départ de l’ABB en mars 1997 du guitariste et du bassiste qui décident de se consacrer entièrement à leur power-trio.
L’esprit de Cream, du Jimi hendrix Experience planent sur cet enregistrement fabuleux qui confirme la naissance d’un groupe majeur.