Nato a San Giovanni in Persiceto il 26 novembre 1912 Giuseppe Vecchi studiò a Bologna, laureandosi in Lettere nel 1939 e in Filosofia nel 1941 (fra i suoi maestri spiccano i nomi di Carlo Calcaterra e Ugo Sesini).
Dopo vari anni di insegnamento nella scuola media superiore, divenne libero docente di Letteratura latina medievale nel 1951 e di Paleografia musicale nel 1955. Nel giro di pochi anni salì in cattedra: nel 1955 alla Cattolica di Milano e nel 1958 all'Università di Bologna per l'insegnamento di Storia della musica (ma operò anche a Padova e Verona, e a Bologna insegnò anche Letteratura latina medievale).
Sempre a Bologna fondò la Scuola di perfezionamento in musicologia, l'Istituto di studi musicali e teatrali (Imet), il coro del Collegium Almae Matris, le riviste Quadrivium e Subsidia musica veneta, l'associazione Amis (Antiquae musicae italicae studiosi) e il relativo bollettino, gli incontri con la musica italiana e polacca, i corsi estivi di musicologia e altro ancora, favorendo inoltre edizioni ed esecuzioni di grande novità e interesse.
Nel corso della sua lunga attività ricevette diverse onorificenze, riconoscimenti e la laurea "honoris causa" in Musicologia dall'Università di Varsavia.