Mon chat à peur de sortir : que faire ?

Bonjour, Je me tourne vers vous car j'ai un problème avec mon chat, il s'appelle Pooky et il va avoir 1 an dans 1 semaine. Je vis actuellement en appartement et ne peut laisser mon chat entrer et sortir à sa guise. Alors depuis ses 4 mois je le promène en harnais et tout ce passait bien, il me demandais même à sortir et on pouvait faire de bonnes balades. Problème depuis 3 semaines mon chat ne veut pas sortir, très difficile de se "balader". Pourtant très curieux, il peut passer ses journées devant la fenêtre. Ce qu'il s'est passé c'est qu'on revenait de balade, et à l'entrée du couloir de mon immeuble, j'ai tenu la porte à une voisine, mon chat à pris peur et est parti à toute vitesse vers mon appartement entrainant la laisse que je n'ai pu retenir (surpris). Il a donc fait un allé-retour du couloir à toute vitesse (je l'ai attrapé au vol) avant de le ramener chez moi. Depuis monsieur ne veut plus sortir: obliger de le sortir en le portant tout tremblant, je reste que peu de temps avec lui dehors car au bout de quelques minutes il pleure, au retour il accepte de marcher dans le couloir mais queue baissée en rasant les murs. Avez-vous une solution à ce petit problème ?