Scott est né à South Shields, Tyne and Wear, en Angleterre, le fils d'Elizabeth et du colonel Francis Percy Scott. Il a été élevé dans une famille de l'armée, ce qui signifie que pendant la plus grande partie de sa jeunesse, son père - un officier du Royal Engineers - était absent. Le frère aîné de Ridley, Frank, a rejoint la marine marchande quand il était encore jeune et le couple avait peu de contacts.