Joe Gideon s'est fait connaître du grand public avec son groupe Bikini Atoll. Joe décide ensuite d'affiner son art en tant qu'auteur-compositeur et forme Joe Gideon & The Shark, en duo avec sa sœur Viva. Leur premier album, "Harum Scarum" en 2009 a obtenu une rare critique de 6 étoiles sur 5 dans le magazine Time Out. Joe Gideon & The Shark a tourné avec Nick Cave & The Bad Seeds, Jon Spencer Blues Explosion et Seasick Steve.
Après s'être lié d'amitié avec Jim Sclavunos (de Nick Cave & The Bad Seeds), Joe l'invité à participer à son premier album solo comme batteur. Le deuxième "Armagideon" est sorti début 2020, juste avant que le monde ne ferme ses portes. Le disque a été écrit et enregistré avec Jim et son compagnon Gris-De-Lin, le trio jouant de tous les instruments dans des arrangements denses, comprenant une armée de saxophones, un piano antique, des chœurs et des percussions dignes d'un bric-à-brac.
Son nouvel album "Altered Self" est paru en mai 2024. Le style d'écriture unique de Gideon et ses réflexions poétiques surréalistes sont très présents ; et bien que Jim et lui soient les seuls instrumentistes, l'album offre une ménagerie de sons comprenant des synthés en boucle, des guitares saturées, des basses volumineuses et quantités de bongos endiablés. Attendez-vous à entendre Joe hurler et hurler à la lune, crier comme un oiseau, et appeler les auditeurs à rejoindre sa congrégation « disco church »... et pour tous les entomologistes, Joe promet au moins deux chansons sur les insectes.