La première chose à vérifier c'est qu'il n'a pas d'infection urinaire.
Et je rappelle qu'il faut enlever les crottes de la litière chaque jour.
Si le problème ne vient pas d'une maladie, plusieurs pistes s'offrent à vous :
mettre un goutte d'eau de javel dans le fond de la caisse
assurez vous que sa gamelle et son bol d'eau sont éloigné de sa (ses) caisse(s)
s'il y a un couvercle à la caisse essayez de l'enlever
lui proposer une seconde caisse, certains chats (c'est rare mais ça arrive) n'aime pas uriner là où ils ont déféquer
Posez lui des griffoirs aux endroits où il à l'habitude d'uriner, c’est un autre moyen de marquer son territoire pour un chat.
éventuellement, changer de type de litière
En tous cas : nettoyez à fond les endroits où il a uriné avec du vinaigre blanc ou du bicarbonate, suivant les surfaces, (surtout pas d'eau de javel)
J'avoue que ce n'est pas évident avec un chat qui a eu l'habitude de vivre dehors mais peut être qu'une des solutions (ou plusieurs combinées) ci-dessus fonctionnera.
S'il fait ça c'est qu'il a besoin de se rassurer, il ne se sent pas encore trop chez lui. Faites le jouer beaucoup, ne le grondez pas quand il urine ailleurs que dans sa caisse, ça ne fera qu'augmenter son stress et plus il sera perturbé plus vous aurez de comportements indésirables.