Comme pour la plupart des races de chiens russes, les cynophiles ont toujours rencontré des difficultés quand ils ont essayé d’obtenir des informations sur l’origine et l’histoire des chiens de l’ex-Union Soviétique. Depuis la chute du mur de Berlin et le développement d’élevages en Europe occidentale, les contacts sont à présent plus faciles, mais les Russes eux-mêmes n’ont pas d’informations précises parce que cette race a été principalement élevée par les bergers caucasiens et qu’elle était pratiquement inconnue hors de son habitat.

Son existence remonterait à au moins 2 500 ans, voire plus : c’est une des races les plus anciennes sur terre ! Il était traditionnellement employé par les Russes et les habitants dans les régions de montagne entre la Turquie et l'Iran, entre la mer Caspienne et la mer Noire. Le Berger du Caucase avait pour rôle de guider et protéger les troupeaux contre les grands prédateurs comme le loup, l'ours ou encore le lynx. Pour réaliser ce type de travail, le chien devait se montrer fort, courageux et intimidant. L'isolement géographique et la sélection naturelle ont donc produit une race de grands protecteurs. Il était alors soumis à des conditions de vie extrêmes, qui ont influencé sa construction ainsi que son caractère, le rendant fort, sans crainte et lui apprenant à économiser son énergie.

Son origine est plutôt méconnue mais c'est un chien qui n'a quasiment  pas changé depuis 2000 ans. Son ancêtre pourrait être le berger géorgien plus connu sous le nom de « tarti », issu du croisement entre un loup et un chien des montagnes ou des anciens Mâtins tibétains.

La sélection de la race a commencé en ex-URSS à partir des années 1920, mais elle n'apparut en Europe qu'en 1930, lors d'une exposition à Nuremberg. Ce n'est qu'à partir des années soixante que les premiers spécimens de cette race font leur entrée en Europe. Ils ont commencé à apparaître sur les ringsinternationaux à partir de 1979. Le standard de la race a été établi en 1985. Cependant, il reste assez rare en France.

Dans l'ex-RDA, ces chiens étaient affectés à la surveillance des frontières du pays, et notamment du mur de Berlin. Lorsque le mur est tombé en 1989, les chiens - environ 700 - ont été fusillés et quelques chanceux, souvent des chiots, ont été volés par des soldats et soigneurs qui les ont ramenés dans leur famille à travers toute l'Allemagne.

Utilisés dans les prisons de Russie pour surveiller les prisonniers, les Bergers du Caucase étaient auparavant utilisés pour la défense de l'Armée Rouge.
Aujourd’hui, les principales régions de présence des Bergers du Caucase sont les républiques fédérées de Géorgie, Arménie, Azerbaïdjan, les républiques autonomes du Kabardino-Balkarie, du Daghestan et de Kalmoukie, les régions de steppes du Caucase du Nord et des environs d’Astrakhan.