Mancato acquisto immobile

Buongiorno, avendo un immobile adibito a magazzino, ma con opportune trasformazioni catastali era possibile trasformarlo ad uso abitativo.
A settembre 2012 circa ricevo una richiesta di acquisto da una persona capitata nel posto per vacanza, comincia una trattativa telefonica nel quale si stabilisce un prezzo. Faccio preparare al mio notaio un preliminare e lo invio via mail all'acquirente. Il preliminare è intestato alla moglie della persona con cui ho i contatti e non a lui. Il documento non viene mai firmato da nessuno dei due. Si va avanti con la trattativa, intanto io rifiuto ben 2 offerte di acquisto per via telefonica e non scritta. In maggio 2013 l'acquirente mi telefona e dice che per suggellare meglio il ns. accordo farà un bonifico di 500€, dico che non mi sembra il caso visto che è ancora tutto in alto mare, ma lui insiste e mi arriva la somma sul c/c. Nel febbraio 2014 mi manda un altro acconto di 500€.
Le sue pretese sono di trasformare il magazzino in abitazione a mie spese prima di comprare e lui vorrebbe pagare un poco alla volta come ha i soldi. Questo è alquanto ridicolo e ribadisco che al momento della firma dovrà pagare l'intero importo o al massimo con un paio di rate in quanto l'immobile è in comproprietà con 2 fratelli e devo rendere conto anche a loro. Nell'estate del 2014 finalmente ci incontriamo e ci conosciamo, apportiamo delle variazioni al preliminare e ne firmiamo una copia, dopo poco ci sono delle divergenze e strappiamo la copia firmata e buttata nel cestino di un bar. Rimaniamo di aggiornarci meglio sulla trattativa e ci salutiamo, andando via nota che si era avvicinato al cestino.... ma non indago.
continuiamo a trattare telefonicamente e nel marzo 2015 mi manda un altro acconto di 500€ a questo punto mi arrabbio e scrivo per mail che gli restituirò i 500€. Lui ribatte di non preoccuparmi e tenere i soldi, e cosi faccio. Dopo aver speso circa 5000€ per adattare l'immobile alle esigenze dell'acquirente nell'autunno del 2015 dopo aver ribadito l'esigenza che il pagamento andava fatto al momento dell'atto di compravendita, mi comunica che per motivi economici che aveva con la sua attività non era più interessato all'acquisto. Faccio le mie rimostranze sempre telefonicamente ma ha deciso cosi. Nei giorni scorsi mi richiama dicendomi che siccome io avevo dei problemi per la vendita a lui!!!! e che ero stato io a chiedere gli acconti(BUGIA) rivoleva i 1500€ che mi aveva dato. Io penso che non gli devo nulla in quanto mi ha fatto perdere oltre alla sua anche altre 2 potenziali vendite del fabbricato e non abbiamo mai firmato nulla e gli acconti li ha fatti di sua volontà. A cosa vado incontro? devo ridargli gli acconti o no? se mi fa una azione legale, posso io ribaltarla chiedendo a lui i danni per mancata vendita? l'immobile non è stato ancora venduto.
Grazie
Franco, da Cosenza (CS)