Bydelshus, ensomhet og smålighet