Gismonti aloitti pianotunnit kuusivuotiaana. Viidentoista vuoden klassisen musiikkikoulutuksen jälkeen hän jatkoi opintojaan Pariisissa, jossa opiskeli orkestrointia ja analyysia Nadia Boulangerin ja Jean Barraquén johdolla. Barraqué oli Arnold Schönbergin ja Anton Webernin oppilaita.
Palattuaan Brasiliaan Gismonti alkoi tutkia eri musiikin tyylejä. Hän kiinnostui Maurice Ravelin orkestroinnista ja soinnutuksesta, mutta myös perinteisestä brasilialaisesta choro-kitaramusiikista. Tätä varten hän opetteli soittamaan kitaraa, aluksi klassista kuusikielistä ja vuodesta 1973 alkaen kymmenkielistä. Hän vietti pari vuotta tutkien kitaran erilaisia viritysmahdollisuuksia ja etsien uudenlaisia sointivärejä. Hän alkoi käyttää musiikissaan myös erilaisia lyömäsoittimia, kelloja ja ihmisääniä. 1970–1980-luvuilla Gismonti levytti ECM-levymerkille useita albumeja lyömäsoitintaiteilija Naná Vasconcelosin kanssa.
Omien levytysten ohella Gismonti on tehnyt musiikkia eri yhtye- ja orkesterikokoonpanoille, useisiin balettiteoksiin, elokuviin ja televisiosarjoihin sekä kuvataiteilijoiden näyttelyihin. Hän on myös osallistunut muiden taiteilijoiden levytysprojekteihin tuottajana, sovittajana tai muusikkona.