Richiesta imposta registro locazione non giustificata

Buongiorno,
la presente per avere un vostro consiglio riguardo a quanto accaduto in questi anni con l'agenzia delle entrate a causa di un contratto di locazione registrato nel 2009. La casa in affitto era di mio papà, andata in eredità in percentuale fra noi 4 fratelli e mia mamma. Il contratto di locazione (4+4) è stato registrato a nome di mio fratello. Il primo anno (2009), il contratto non è stato dichiarato nel 730, per cui l'accertamento ricevuto da parte Agenzia delle Entrate nel 2015 era corretto e lo stiamo ancora pagando (rateizzato). L'anno successivo (2010) il contratto è stato dichiarato sul 730, purtroppo però in fase di compilazione da parte del CAF, il reddito è stato inserito nel riquadro dell'affittuario e non del proprietario, purtroppo anche io questo caso, non siamo riuscito a far nulla e stiamo pagando (rateizzato). Sono entrambi accertamenti da quasi 2000 euro l'uno. A dicembre 2010 l'inquilino è andato via, purtroppo ignoranti in materia, non abbiamo inviato nessuna comunicazione di disdetta all'agenzia delle entrate e non abbiamo pagato la relativa imposta (E' stato fatto solo successivamente, pagando interessi e sanzioni di ritardo). A settembre 2016 abbiamo ricevuto un altro accertamento per l'anno 2011. Abbiamo fatto ricorso ma al momento all'agenzia dell'entrate non è sufficiente ricevere la chiusura effettuata in ritardo, ma chiedono: copia della disdetta anticipata inviata al locatore, che non abbiamo e contratto di locazione (che non abbiamo)
Ora chiedo il vs consiglio, dato che la chiusura del contratto (31/12/2010) effettuata a luglio 2016 è stata accettata allo sportello dell'agenzia dell'entrata, non è sufficiente per far annullare l'accertamento del 2011?
Come possiamo procedere? Vi ringrazio anticipatamente e porgo Cordiali Saluti.
Sabrina, da Milano (MI)