According to these pages, the earliest known appearance of the term pole wasmight be in "Théorie des fonctions elliptiques" (1875, p. 15) by Briot and Bouquet:
Lorsqu'une fonction $u$ est holomorphe dans une certaine partie du plan, excepté en un point $z_1$, où elle devient infinie, de manière toutefois que la fonction $\frac{1}{u}$ reste holomorphe dans le voisinage de ce point, on dit que ce point est un pôle ou un infini de la fonction $u$.
They don't provide any motivation for this choice of a term though.
By the way, in their first memoir on the subject, "Étude des fonctions d'une variable imaginaire" (1856), Briot and Bouquet refer to a pole of a function only as un infini du degré fini.