William Cliff, Amour perdu