Il vit principalement en haute mer sauf pendant la mue et la reproduction où il se rapproche des côtes, il vient sur les côtes sableuses et rocheuses. Il affectionne aussi îles et îlots rocheux. En hiver, c’est sur la banquise qu’on le retrouve. 

Comme beaucoup de phoques, le phoque gris est une espèce grégaire qui se rassemble sur les lieux de reproduction et de mue. Ensuite, chaque individu ou groupe d’individus se disperse pour aller trouver de quoi se nourrir. Les mâles se battent entre eux pour s’assurer la possession d’un groupe de femelles. Un mâle dominant pourra ainsi intégrer un groupe de 10 femelles maximum et s’accoupler avec chacune d’entre elles. Le phoque gris est donc polygynique. Dans certaines régions, les accouplements se font dans l’eau.

Ils sont présents dans notre région de manière occasionnelle et se réfugient généralement proche des baies. Lorsqu’un individu s’échoue et se trouve dans une situation délicate, il est amené par les autorités compétentes au Musée de la mer de Biarritz qui s’occupera de l’animal jusqu’à sa remise à l’eau.