Jean-Pierre Levayer débute au Crédit Mutuel puis au Crédit Agricole. Il rejoint le Groupe Caisse d’Épargne en 1986 où il occupe différentes fonctions commerciales. En 1999, il devient membre du directoire de la Caisse d’Épargne des Pays du Hainaut, en charge du développement. En 2004, il intègre la Caisse nationale des Caisses d’Épargne en tant que directeur de l’offre produits et services. Nommé, en 2006, président du directoire de Natixis Épargne Financière, il est promu trois ans plus tard président du directoire de la Caisse d’Épargne Loire Drôme Ardèche. Depuis 2012, il était directeur général de la Banque Populaire Loire et Lyonnais.