Poligny est situé dans la partie occidentale du Champsaur, sur la rive gauche du Drac, adossé à la montagne de Mouttet, face au Vieux Chaillol (3 163 m., au sud-ouest du massif des Écrins).

Le chef-lieu et les principaux hameaux sont à une altitude de 1 000 m, mais la commune s'étage depuis la vallée du Drac (900 m au pont du Rageoux) jusqu'aux contreforts du massif du Dévoluy (sommet de Girolet, 2 060 m).

​

Sa position géographique lui confère, comme à l'ensemble du Champsaur, un climat particulier : mal protégé des courants d'ouest par le rempart du Dévoluy, et partiellement privé de la douceur provençale par les hauteurs entourant le col Bayard au sud, Poligny est soumis à la bise, vent du nord qui lui apporte fréquemment les nuages remontant de la cuvette grenobloise, et, en hiver, le froid des massifs du Haut Dauphiné .

​

Le territoire de la commune se divise naturellement en quatre zones étagées :

• le bord du Drac, mince bande parcourue par la route nationale 85, dite route Napoléon, à la circulation importante (liaison Grenoble - Gap, mais aussi itinéraire-bis entre la région lyonnaise et la Côte d'Azur), mais sans incidence notable sur la vie de la commune ;
   

• la haute plaine, sur laquelle se trouvent les 3 hameaux principaux, essentiellement consacrée à l'agriculture (prairies, élevage) ; témoin d'une organisation agricole ancienne, on peut reconnaître, de l'entrée de la commune au Nord jusqu'aux Forestons à l'ouest, les restes de l'ancien canal de Pont-du-Fossé, qui, de la fin du XIXe siècle jusqu'en 1963, alimentait en eau d'irrigation toutes les communes de la rive gauche du Drac ;
   

• la forêt (40 % de la surface de la commune), exploitée pour ses bois (pins et feuillus), et parcourue de nombreux chemins forestiers propices à la randonnée et à la cueillette des champignons (bolet blafards, chanterelles, lactaire couleur saumon) des framboises ou des gentianes, selon la saison ;
   

• les pentes rocheuses, où vit une faune sauvage importante (marmottes, chevreuils, sangliers, mais aussi dans les hauteurs du Girolet, mouflons et Chamois).

​