Borel definitely wasn’t first. Besides the de Saussure precedent unearthed in J.M. Selig’s answer, he could have learned it from (the apparently independent) van der Waerden (1936, pp. 15, 30):
... die projektiven Invarianten von drei „Flaggen“ zu finden. Eine Flagge besteht aus einem Punkt, einer Geraden durch diesen Punkt, einer Ebene durch diese Gerade usw.
... Nennen wir die Figur, die aus einem Punkt $x$, einer mit $x$ inzidenten Geraden $p$ und aus einer mit $p$ inzidenten Ebene $u$ besteht, eine Flagge $\{x,p,u\}$, so erhalten wir ...
(Borel and van der Waerden were both in Zürich in Summer 1951.)