permesso di costruire

Nel settembre 2006 ho presentato un progetto per la costruzione di una civile abitazione in zona agricola a titolo oneroso non essendo coltivatore diretto o imprenditore agricolo. Poiché la cubatura della costruzione era superiore alla superficie del terreno disponibile, l'ufficio tecnico mi ha richiesto l'asservimento di un altro terreno avente la stessa destinazione urbanistica ossia agricola. Ho fatto un atto di asservimento di un altro terreno di mia proprietà, ricadente nello stesso agro, non confinante ma distante circa 1000 metri da quello interessato alla costruzione. L'ufficio tecnico ha accolto tale
atto di asservimento, ritenendolo valido a tutti gli effetti, e mi ha
rilasciato il permesso a costruire.
Ho pagato gli oneri concessori e nel 2007 ho realizzato la costruzione al rustico,che ho regolarmente accatastato,tutti gli impianti e gli intonaci.
A causa della mancata concessione del mutuo e di un grave lutto in famiglia, non ho potuto completare i lavori per rendere la struttura abitabile nei tre anni previsti dal Permesso.Allo stato attuale, per completare l'opera,mancano i pavimenti e gli infissi a cui dovrò provvedere entro quest'anno.
Sul permesso di costruire c'è scritto che " il termine per l'inizio dei lavori, di cui al presente Permesso,pena la decadenza dello stesso, non può essere superiore ad un anno dalla data del rilascio; quello di ultimazione, entro il quale l'opera deve essere completata non può superare i tre anni dall'inizio dei lavori".
Nel mese di febbraio 2014 il nuovo dirigente dell'ufficio tecnico mi ha convocato per comunicarmi che il permesso a costruire rilasciatomi nel 2006 era illegittimo pertanto lo stesso è da considerarsi revocato in quanto non potevo asservire terreni non confinanti.
Allo stato attuale ho sostenuto ingenti spese per costruirmi la casa regolarmente autorizzata.
Può il comune, a distanza di sette anni, sostenere di aver sbagliato senza che se ne assuma la responsabilità di tale errore?
I danni che andrò a subire, per l'eventuale demolizione della casa e/o per tutte le procedure giudiziarie, su chi dovranno ricadere?
Posso iniziare un'azione di rivalsa nei confronti del comune che, a suo tempo, mi ha rilasciato un regolare permesso a costruire?
Il termine di tre anni entro, il quale deve essere completata l'opera, è perentorio?
Nel ringraziarvi per la risposta, porgo distinti saluti.
Francesco, da Torre Santa Susanna (BR)