Pour que ce chat se comporte correctement en intérieur, il faut qu'il soit éduqué. Vu qu'il n'a plus sa mère, c'est à vous de l'éduquer. Cette éducation passe par une litière et apprendre à s'en servir, avec les petits accidents qui vont avec. Il ne peut pas comprendre que dehors, il peut uriner où il veut et qu'à l'intérieur, non, s'il n'y a pas au moins une litière dédiée. C'est seulement ensuite qu'il pourra éventuellement apprendre à aller faire dehors je pense.
Maintenant, si vous ne souhaitez pas l'adopter et faire l'effort de la litière, et de tout le reste - vaccins, nourriture régulière et équilibrée, stérilisation etc. - alors laissez tomber car ce que vous faites est complètement contradictoire pour lui.
Si vous attendez qu'il vous montre de l'affection, c'est dans l'autre sens que ça marche : vous lui montrez de l'affection et il s'attachera à la longue à vous. Mais pour cela, il faudrait le prendre réellement en charge et ne pas le laisser seul les 3/4 du temps.
Je comprends que vous essayez de bien faire, et vous avez eté généreux en le nourrissant, mais si vous ne vous investissez pas à fond, ça va être très compliqué et pénible pour vous, comme pour lui. Parce que ce que vous allez investir (en temps, j'entends) va être contrebalancé par son état à demi sauvage que vous lui laissez. Si vous l'adoptez réellement, ce sera du travail, certes, mais au bout vous aurez des résultats éducatifs (plus de pipi partout entre autres) et de l'affection. En agissant comme vous le faites, vous risquez de n'avoir aucun résultat éducatif et peut-être jamais une réelle affection de sa part.
Trouvez une association ou donnez le à des amis si vraiment vous ne vous sentez pas de vous en occuper à 100%. Vous avez déjà fait un beau geste en le nourrissant. :)