Totalreflexion, Grenzwinkel