En 1878, les éleveurs allemands de chiens à aptitudes bergères réalisent une première tentative de regroupement dans un but d’amélioration de leurs chiens. Ceux-ci sont très variés d’un point de vue phénotypique, notamment selon les régions : par exemple, le type Wurtemberg porte les oreilles droites, alors que celui de Thuringe a les oreilles tombantes. Il existe également des chiens différents en Bavière ou dans la Hesse. Mais leur principal point commun est leur caractère qui fait d’eux de bons gardiens de troupeaux et de biens : intelligence, obéissance, vigilance, incorruptibilité. On retrouve également chez tous robustesse et rusticité puisque jusqu’alors la sélection empirique qui a été réalisée ne visait qu’à obtenir de bons livre généalogique et tentent d’établir une société, le Phylax, mais le projet n’aboutit pas.

C’est le capitaine de cavalerie Max Emil Frédéric von Stephanitz qui sera le véritable « père » de la race. Après avoir longtemps admiré les aptitudes des chiens de berger, il décide d’en acheter un le 3 avril 1899. Son nom d'origine est Hektor von Linksrhein qu’il rebaptisera ensuite Horand von Grafath. Celui-ci est gris et jaune, plutôt de type berger de Thuringe (mais à oreilles droites). Von Stephanitz et Arthur Meyer créent ensuite le club de race le 22 avril 1899 à Karlsruhe (« Verein für deutsche Schäferhunde » ou SV), le capitaine sera à sa tête pendant trente-cinq ans.

Le 28 septembre 1899 est publié le premier standard de la race, et en 1900, Horand inaugure le livre des origines du SV (« Zuchtbuch »).