Scoperta abuso prima del rogito

Buona sera,
tramite agenzia immobiliare 1 mese fa ho fatto il compromesso per l'acquisto di una villa costruita nel 1953. Ora, prima del rogito, ho scoperto che la casa non è stata costruita come da progetto iniziale e che dove ci doveva essere la scala d'ingresso ora c'è il muro perimetrale di un bagno e viceversa e che sul davanti c'è una finestra che in origine non c'era. Cercando con i proprietari abbiamo trovato il condono della finestra, mentre nulla si è trovato per lo "spostamento" del bagno in quanto subito dall'origine la casa era stata costruita così e nei vari condoni ciò è sempre stato presentato come un dato di
fatto. Sebbene anche le ultime schede catastali fatte neanche 2 settimane fa riportino il bagno dove è ora, per il Comune tale muro è abusivo e non si può sanare in quanto la distanza del muro è inferiore ai 5 mt dalla cinta della proprietà del vicino. Il notaio mi dice che per lui posso rogitare in quanto la casa è un "ante 67", però in Comune mi hanno detto che in questo modo il notaio è a posto, mentre siccome l'abuso non va in prescrizione, il problema passerebbe dal proprietario a me.
A questo punto la mia domanda è la seguente: visto che c'è questo problema, posso non rogitare?? Posso richiedere ai proprietari il doppio di quello che ho versato al momento del compromesso??
Posso rivalermi anche sull'agenzia immobiliare??
Vi ringrazio e vi auguro una buona serata
Cristina, da Settimo Milanese (MI)