An deiner Stelle hätte ich schlicht gesagt "Das möchte ich nicht sagen, ist mir zu privat.".
Idealerweise hätte er dann reagiert mit "Ist in Ordnung, behalte das für dich."
Falls er dann nicht so reagiert hätte, also noch weiter gestochert hätte ("Ach komm, sag schon, stell' dich nicht so an."), hättest du immer noch sauer reagieren können.
Es ist das Gegenteil der Fall. Er geht ja davon aus, dass mit dir alles richtig ist und wundert sich halt genau deswegen, warum du keinen Freund hast.Es ruft auf der Stelle wieder das Gefühl in mir wach, dass etwas nicht mit mir stimmt.
Wäre schlimm gewesen, wenn er sowas gesagt hätte wie "Ist ja auch kein Wunder, wo wie du dich verhältst/aussiehst".