Por su procedencia islandesa, Gus Gus iba a ser comparado con sus compatriotas Sugarcubes, aunque los años han demostrado que no bebían de las mismas influencias pues el legado post-punk de los Sugarcubes no lo han utilizado en sus creaciones. Sus verdaderas influencias vienen de los sonidos del trip-hop de Bristol y de la música electrónica en general.

El grupo comenzó a principios de 1995 con dos directores de cine Stephnrni and Siggi Kjartansson, a los que posteriormente se les unirían músicos como DJ Herb Legowitz y el programador Biggi Thrarinsson así como letristas y vocales como Danfel, Hafdfs Huld y Magnus Jonsson (todos ellos antiguos actores), un cámara de cine (Steph) y un productor (Baldur Stefßnsson).

La sensibilidad de la banda por la música indie les llevó a firmar con el sello 4AD tras cuatro Dance Mix EPs durante 1996. Estaban estre los grupos que accedían tanto a los actos de música dance como los de música indie de aquella época. El grupo consiguió el apoyo de LFO (with Mark Bell's remix of "Believe"), y de una de las tiendas de discos para Djs más famosas de Londres, Fat Cat Records, cuando tocaron por primera vez en Inglaterra. Desde entonces han sacado tres albums, el primero en 1997 titulado Polydistortion, el segundo This is Normal en 1999, y en el 2000 publicaron Gus Gus vs. the World.