casa in affitto con muffa e umidità

Buongiorno,
ho affittato nel 2008 (mi riservo di verificare esattamente le date in un secondo momento), un appartamento a Pesaro.
L'appartamento si presentava in ottime condizioni al momento dell'affitto (era estate) ma già dal primo inverno e con i primi freddi è venuta fuori moltissima muffa su moltissime pareti della casa costringendoci a tenere i mobili staccati dal muro. Altri problemi non minori sono la condensa (che arriva a colare sui pavimenti) e la temperatura che con la casa cosi' malamente isolata rimane rigida (in alcune stanze in particolare). La puzza di muffa si sente ovunque.
Feci notare (credo l'anno dopo) al mio padrone di casa (che abita al piano di sopra) il problema inviandogli una mail e andandolo a trovare con un ingegnere che gli ha spiegato che il problema poteva essere risolto solo tramite realizzazione di opere di isolamento che non sono mai state fatte.
Il padrone di casa mi rispose picche e non solo non fece nulla ma neanche accettò la mia proposta verbale di riduzione del canone di affitto. Mi disse che se volevo me ne potevo andare.
Il primo contratto scaduto dopo 5 anni fu tacitamente rinnovato e adesso sono al secondo anno del secondo contratto quinquennale.
Inoltre (non c'entra ma forse da una idea del personaggio) mi ha da sempre chiesto via mail il pagamento di spese condominiali mai concordate e non sul contratto di affitto. Io le ho sempre pagate (in nero come da sua esplicita richiesta).
Il fatto di avere avuto il padrone di casa al piano di sopra mi ha sempre portato ad evitare attriti (abbiamo entrambi moglie e figli) ma adesso mi stono stancato e vorrei sapere se ci sono gli estremi per rivalermi nei suoi confronti.
Faccio presente che l'Ingegnere che vide la casa mi disse che se fossi andato all'Asl sarebbe sicuramente risultata inabitabile.
Posso richiedere rescissione del contratto?
Posso chiedergli i danni?
Posso smettere di pagare l'affitto fin quando questa situazione non venga da lui risolta?
Il fatto di essermi lamentato solo all'inizio del primo contratto di affitto e poi basta, può' rendere più complicato un eventuale percorso legale qualora volessi intentare una causa?
Vi ringrazio anticipatamente per l'aiuto.
Un cordiale saluto
Simon, da Pesaro (PU)