Le due torri che affiancano Porta Venere sono legate, secondo un’antica tradizione, al nome del poeta latino. Secondo alcuni le due torri affiancate a Porta Venere sono di origine medievale, per altri coeve su modello della porta Palatina di Torino (28 a.C.).
É certo che nel XIII secolo le torri erano state inglobate nel tessuto edilizio, ciò che si vede è frutto di un restauro storicistico di inizio XX secolo. Porta Venere fu eretta, in età augustea.
È stata studiata e disegnata dall’architetto bolognese Sebastiano Serlio nel 1540 e, nel secolo XVII, da storici locali che la misero in stretta relazione con i resti di un tempio dedicato a Venere, scoperti presso la Villa Fidelia, fuori la cerchia delle mura urbane di Spello.
Sotto la porta passava in epoca romana la processione che univa Spello all’area sacrale del santuario, oggi Villa Fidelia.