Clausola sospensiva all'accettazione del mutuo

Ho sottoscritto una proposta di acquisto di un appartamento tramite agenzia immobiliare, versando una caparra di XXXX euro e inserendo la nota che "la presente proposta è vincolata all'accettazione del mutuo richiesto dalla parte acquirente per un periodo di XX giorni dall'accettazione della proposta". Prima della sottoscrizione avevo presentato i miei redditi e documenti a una banca e chiesto una simulazione di mutuo 80% a tasso fisso, poi telefonicamente accettato. La proposta è stata poi accettata dal venditore, ma nel frattempo le mie circostanze economiche cambiano e non me la sento più di accollarmi il mutuo.
Ora chiedo: per avere indietro la caparra versata sono obbligato a comunicare all'agenzia una delibera di non-mutuo della banca o è sufficiente che dichiaro la non accettazione generica del mutuo?
Pierluigi, da Modena (MO)