Urodził się w New Jersey 17 lipca 1921 roku. Naprawdę nazywał się Anthony Joseph Sciacca. Kojarzono go głównie z nurtem bebopu. Był jednym z pierwszych muzyków, którzy zaczęli mieszać jazz z innymi gatunkami. Interesował go folk z całego świata. W latach 60. podróżował po Azji, szukając inspiracji w tamtejszej muzyce, grywał m.in. w hinduskich świątyniach. Kilka lat temu wydał autobiografię "Bird, Lady and Me".

Był także autorem serii zdjęć przedstawiających sławy jazzu. W latach 80. osiedlił się we Włoszech. Pod koniec życia zaczął interesować się także muzyką elektroniczną. 11 kwietnia w USA ukaże się płyta "A Jazz Life", którą Scott nagrał przed kilkoma miesiącami.