En 1964, Mario Zatelli est nommé entraîneur du club phocéen, après y avoir évolué en tant que joueur dans les années 1930. À son palmarès d’entraîneur, il compte une remontée en première division en 1966, une Coupe de France en 1969, un titre de champion de France en 1971 et un doublé Coupe-Championnat en 1972, obtenus avec notamment le duo d'attaque Magnusson-Skoblar. Sa carrière d'entraîneur au sein du club ne fut pas des plus tranquilles, le président Marcel Leclerc l’ayant embauché puis remercié trois fois jusqu’en 1973. Avec Zatelli, l'OM a écrit l'une des plus belles pages de son histoire.

Jules Zvunka a porté le costume de pompier de service au sein du club phocéen. En effet, en 1974, Zvunka évite une relégation qui semblait presque inéluctable, puis termine 2e du championnat en 1975 avant de gagner la Coupe de France. Il est rappelé en 1977 pour redresser un OM qui alors enchaînait une série de résultats catastrophiques toutes compétitions confondues et seize mois plus tard (en décembre 1978), il est appelé à la rescousse pour une 3e opération commando réussie avec une série de 11 matchs sans défaite[107].

Gérard Gili est le premier entraîneur de l'ère Tapie. En 1988, il est nommé à la surprise générale entraîneur de l'équipe première. Il opte pour la sobriété et réalise le doublé pour sa première saison alors qu'il n'a aucune expérience au haut niveau. Il échouera en demi-finale de la Coupe d'Europe des Clubs Champions contre Benfica en 1990 à cause de la fameuse main de Vata en toute fin de match. Il reste ensuite cinq ans à la tête du centre de formation de Marseille. Il reviendra sur le banc olympien en 1997, mais sans grand succès.

Raymond Goethals[108] a notamment mené l'Olympique de Marseille à son titre de champion d'Europe en 1993, devenant ainsi le premier et le seul entraîneur à remporter la Ligue des Champions avec un club français. Avant d'entraîner l'OM, il a de bons résultats avec l'équipe nationale belge, avec le club bruxellois d'Anderlecht (finale de la Coupe européenne des vainqueurs de coupe en 1977 avant de remporter la compétition l'année suivante, en 1978), avec le Standard de Liège (champion de Belgique en 1982 et 1983, plus une finale européenne, de nouveau avec Anderlecht (nouveau titre de champion de Belgique et deux Coupes de Belgique). En 1990, Raymond Goethals est appelé à Marseille par Bernard Tapie en vue de décrocher la première Coupe d'Europe d'un club français. En 1991, l'OM échoue de justesse en finale de la Coupe d'Europe des clubs champions après la séance des tirs au but, face à l'Étoile Rouge Belgrade. En 1993 il remporte, avec son équipe, la finale de la Ligue des Champions face au Milan AC, accomplissant là le plus haut fait d'armes de sa carrière.