Distancia del círculo máximo

En sistemas informáticos con baja precisión de punto flotante , la fórmula de la ley esférica de los cosenos puede tener grandes errores de redondeo si la distancia es pequeña (si los dos puntos están separados por un kilómetro en la superficie de la Tierra, el coseno del ángulo central es cercano a 0,99999999). Para los números de punto flotante modernos de 64 bits , la fórmula de la ley esférica de los cosenos, dada anteriormente, no tiene errores de redondeo graves para distancias mayores que unos pocos metros en la superficie de la Tierra ^{[ 3 ]} .

La siguiente fórmula de haversine está numéricamente mejor condicionada para distancias pequeñas basándose en la relación de longitud de cuerda anterior: ^{[ 4 ]}$${\displaystyle {\begin{aligned}\Delta \sigma &={\operatorname {archav} }{\Bigl (}\operatorname {hav} \Delta \phi +{\bigl (}1-\operatorname {hav} \Delta \phi -\operatorname {hav} (\phi _{1}+\phi _{2}){\bigr )}\operatorname {hav} \Delta \lambda {\Bigr )}.\end{aligned}}}$$

Históricamente, el uso de esta fórmula se simplificó gracias a la disponibilidad de tablas para la función haversine definida por${\displaystyle \operatorname {hav} \theta =\sin ^{2}{\tfrac {1}{2}}\theta }$y${\displaystyle \operatorname {archav} x=2\arcsin {\sqrt {x}}}$.

A continuación se muestra la fórmula equivalente que expresa explícitamente la longitud de la cuerda: $${\displaystyle {\begin{aligned}\Delta \sigma _{\text{c}}&=2{\sqrt {\sin ^{2}{\tfrac {1}{2}}\Delta \phi +\cos {\phi _{1}}\cos {\phi _{2}}\sin ^{2}{\tfrac {1}{2}}\Delta \lambda }}\\&=2{\sqrt {\left(\sin {\tfrac {1}{2}}\Delta \lambda \,\cos {\tfrac {1}{2}}(\phi _{1}+\phi _{2})\right)^{2}+\left(\cos {\tfrac {1}{2}}\Delta \lambda \,\sin {\tfrac {1}{2}}\Delta \phi \right)^{2}}}.\end{aligned}}}$$

Aunque esta fórmula es precisa para la mayoría de las distancias en una esfera, también adolece de errores de redondeo para el caso especial (y algo inusual) de puntos antipodales. Una fórmula que es precisa para todas las distancias es el siguiente caso especial de la fórmula de Vincenty para un elipsoide con ejes mayor y menor iguales: ^{[ 5 ]}$${\displaystyle {\begin{aligned}\Delta \sigma ={\operatorname {atan2} }{\Bigl (}&{\textstyle {\sqrt {\left(\cos \phi _{2}\sin \Delta \lambda \right)^{2}+\left(\cos \phi _{1}\sin \phi _{2}-\sin \phi _{1}\cos \phi _{2}\cos \Delta \lambda \right)^{2}}}},\\&\quad {\sin \phi _{1}\sin \phi _{2}+\cos \phi _{1}\cos \phi _{2}\cos \Delta \lambda }{\Bigr )},\end{aligned}}}$$ donde​${\displaystyle \operatorname {atan2} (y,x)}$⁠ es la arcotangente de dos argumentos . Usar atan2 garantiza que se elija el cuadrante correcto.

Otra representación de fórmulas similares, pero utilizando vectores normales en lugar de latitud y longitud para describir las posiciones, se encuentra mediante álgebra vectorial 3D , utilizando el producto escalar , el producto vectorial o una combinación: ^{[ 6 ]}$${\displaystyle {\begin{aligned}\Delta \sigma &=\arccos \left(\mathbf {n} _{1}\cdot \mathbf {n} _{2}\right)\\[5mu]&=\arcsin \left|\mathbf {n} _{1}\times \mathbf {n} _{2}\right|\\&=\arctan {\frac {\left|\mathbf {n} _{1}\times \mathbf {n} _{2}\right|}{\mathbf {n} _{1}\cdot \mathbf {n} _{2}}}\\\end{aligned}}}$$ dónde${\displaystyle \mathbf {n} _{1}}$y${\displaystyle \mathbf {n} _{2}}$son las normales a la esfera en las dos posiciones 1 y 2. De manera similar a las ecuaciones anteriores basadas en latitud y longitud, la expresión basada en la arcotangente es la única que está bien condicionada para todos los ángulos . La expresión basada en la arcotangente requiere la magnitud del producto vectorial sobre el producto escalar.

Una línea que atraviesa el espacio tridimensional entre dos puntos de interés en una Tierra esférica es la cuerda del círculo máximo que une dichos puntos. El ángulo central entre los dos puntos se puede determinar a partir de la longitud de la cuerda. La distancia del círculo máximo es proporcional al ángulo central.

La longitud de la cuerda del círculo máximo,${\displaystyle \Delta \sigma _{\text{c}}}$, puede calcularse de la siguiente manera para la esfera unitaria correspondiente, mediante resta cartesiana : $${\displaystyle {\begin{aligned}\Delta {X}&=\cos \phi _{2}\cos \lambda _{2}-\cos \phi _{1}\cos \lambda _{1},\\[3mu]\Delta {Y}&=\cos \phi _{2}\sin \lambda _{2}-\cos \phi _{1}\sin \lambda _{1},\\[3mu]\Delta {Z}&=\sin \phi _{2}-\sin \phi _{1},\\[3mu]\Delta \sigma _{\text{c}}&={\sqrt {(\Delta {X}){}^{2}+(\Delta {Y}){}^{2}+(\Delta {Z}){}^{2}}}.\end{aligned}}}$$

Sustituyendo${\displaystyle \lambda _{1}=-{\tfrac {1}{2}}\Delta \lambda }$y${\displaystyle \lambda _{2}={\tfrac {1}{2}}\Delta \lambda }$Esta fórmula puede ser manipulada algebraicamente hasta obtener la forma que se muestra arriba en §  Fórmulas de cálculo .