Det hele begyndte som en sankthansfest i Bachmanns Vandmølle ved Vidåen i Tønder. En flok unge musikglade mennesker arrangerede en tre dage lang fest i juni 1974 med visesang, folkemusik og bægerklang i den gamle vandmølle, der snart fik navnet Visemøllen.
Entusiasmen var stor, og arrangementsgruppen fik stablet endnu en tredages musikfest på benene i september samme år. På scenen ved begge lejligheder var i øvrigt en skotte, som lige siden har været trofast musiker, hjælper, konferencier og alt-mulig-mand på Tønder Festivalen: Rod Sinclair.
En anden herre, der var med helt fra starten, er Carsten Panduro. Han har været festivalens leder gennem fire årtier. Der er ikke for meget sagt, at Carsten Panduro – sammen med Anni Lehmann – har opbygget og skabt festivalen og hele den ånd og atmosfære, der kendetegner festivalen i dag. Carsten Panduro blev i 2014 afløst af Maria Theessink som kunstnerisk leder.
Tre dage i august 1975 fandt den første egentlige Tønder Festival sted. Musikprogrammet spændte vidt – fra Slesvigske Fodregiments Musikkorps til beatgrupperne Alrune Rod og Taurus. Sidstnævnte skiftede som bekendt senere navn til TV-2. Så Steffen Brandt talte sandt, da han i 2006 som gæst hos Niels Hausgaard i Kulturhuset sagde til publikum: ”Det er godt nok længe siden, jeg sidst har spillet på Tønder Festivalen.”