Restituzione caparra affitto

Buongiorno, vi chiedo aiuto in quanto avevo dato in affitto ad un inquilino un alloggio rispettando tutte le regole e leggi. Dopo circa due anni l'inquilino ha dato disdetta ed ha lasciato l'alloggio riconsegnandomi le chiavi. Da subito l'inquilino ha insistito sia telefonicamente che via mail nell'avere indietro la caparra ed a nulla e' valsa la mia spiegazione di dover attendere che l'amministratore potesse chiudere le spese ed il consuntivo riscaldamento, mi chiamava continuamente. Allora ho effettuato un sopralluogo nell'alloggio ed al contrario di quanto dettomi dall'inquilino, alcuni mobili erano danneggiati, chiodi piantati dappertutto sui muri, box doccia danneggiato e non erano stati fatti quei piccoli interventi di manutenzione che spettano all'inquilino oltre a mancare un elemento dell'arredamento. Ho fatto una valutazione assolutamente bassa per rimettere a posto i danni in quanto dovevo fare io le riparazioni per non addebitare tutto il mobile ed ho stimato con l'aiuto dell'amministratore un saldo delle spese. Cosi' ho potuto liquidare l'importo residuo della caparra di 637 euro sui 900. Praticamente ho trattenuto 263 euro tutto incluso. Ora l'ex inquilino ha ricevuto i soldi del bonifico ma pretende che gli mandi i giustificativi che dimostrino la detrazione dei 263euro minacciandomi di azioni legali prima e di "provvedere in altre maniere" dopo. Devo rispondere? Come? Purtroppo non e' stato fatto un verbale di riconsegna ma sono sicuro che se anche elencassi i punti specifici mi sentirei contestare il danno magari con la frase "era cosi' gia' da prima" o "quando sono andato via era a posto". Grazie per un vostro aiuto.
Sergio, da Borgaro Torinese (TO)