Servitu di passaggio inesistente!

salve, vi scrivo per un problema. mesi fa ho comprato un appartamento con giardino(tipo casa a schiera) in un condominio di 8 famiglie. il venditore era vicino di casa con il fratello...appartamenti per uso estivo, ed al momento del acquisto ho avuto diritto di utilizzo un paio di settimane prima del rogito e vedevo che il fratello del venditore aveva uso continuo a passare, attraverso un cancelletto di mia proprieta', sul mio giardino per recarsi nel suo giardino posto alle spalle del fabbricato (il suo giardino praticamente e' chiuso tra il mio e il giardino di altro proprietario, quindi l'unico suo passaggio per accedervi e' attaverso il suo appartamento). allego immagine della piantina catastale su cui ho evidenziato, il mio giardino, quello del vicino, il mio cancelletto in rosso (su cui si accede tramite un vialetto condominiale)e con frecce azzurre il percorso che lui effettua per andare nel suo giardino, attraverso un cancello posto tra le due proprieta'! cio' avviene in quanto lui ritiene comodo fare tale giro con attrezzi da giardino o per piedi sporchi di sabbia nel periodo estivo, o scarpe bagnate se viene d'inverno,ecc...ed evitare di sporcare casa sua!
il fratello mi assicuro' che tale abitudine e tale cancello tra i due giardini era x uso saltuario in caso di necessita', essendo loro fratelli e appurato sia al catasto che nel regolamento condominiale, ecc..che non esisteva alcuna servitu' di passaggio mi sono comunque fatto fare d'innanzi al notaio una dichiarazione dal venditore che di fatti non esiste alcuna servitu' e nessun genere di accordo con il fratello e che il giardino e' privato!
dopo il rogito io ho chiuso il cancello a chiave, ed ho poi scoperto che la chiave l'ha anche il fratello ed ha continuato a passare, quindi ho cercato di chiarire,inizialmente mi sono sentito dire che tutto intorno al fabbricato esiste un "marciapiede" condominiale di 60 cm (il marciapiede c'e veramente ma non e' indicato ne su piantine ne risulta sia per uso condominiale, ma trattasi di marciapiede di comodita, inoltre l'unico giardino su cui c'e' un cancello nel confine e' tra noi due), gli ho fatto vedere tutti i documenti e insistito che non esiste alcun diritto di passaggio.
l'estate e' passata e il discorso pareva finito li, in questi giorni e' tornato e di nuovo passa nella mia proprieta' (cambiero' serratura appena possibile) e questa volta la versione e' un'altra...lui ritiene essere in diritto di passare perche' dice che ha comprato casa 30 anni fa e che dopo 20 anni che ci passa ha il diritto di farlo per usucapione!
volevo sapere se cio' e' possibile perche' mi pare veramente assurdo che io compro casa, il venditore e tutti i documenti mi dicono avere piena proprieta' del mio giardino (chiuso con cancelli) pagandolo come esclusiva proprieta', senza servitu' di passaggio e questa persona invece passa nella mia proprieta', ritenendo tale diritto acquisito perche' lo fa da oltre 20 anni...ma cio' solo perche' erano fratelli! grazie
Mario, da Fano (pu)