Il fait ses études à l'école des beaux-arts de Rouen, où il est l'élève de Gustave Morin et de Seignemartin .
Remarqué par un collectionneur en 1872, celui-ci lui propose une place de professeur de dessin en Algérie où il enseigna jusqu'en 1877, avec un retour à Rouen en 1873 pour se marier. Il y rencontre le coloriste lyonnais Jean Seignemartin (1848-1875). Sous son influence, Lebourg éclaircit sa palette et réalise une série de tableaux d'après le même sujet[2].
À son retour en métropole, il s’installe à Paris dans le quartier des Gobelins. Le marchand de tableaux Portier à Paris lui fit connaître les nouveaux milieux artistiques . Il suit pendant deux ans, en 1878 et 1879, des cours dans l'atelier de Jean-Paul Laurens pour préparer le concours de professeur de dessin de la Ville de Paris, mais il renonce à ce projet.
Il expose Une Femme lisant au Salonde Paris en 1878. Lors de la quatrième exposition impressionniste de 1879, il présente dix tableaux et dix fusains inspirés de l'Algérie et de la Normandie, dont L'Amirauté à Alger. Il expose à nouveau avec les impressionnistes en 1880 lors de leur cinquième manifestation.
Au Salon de 1883, la toile Le matin ; Dieppe est acceptée. Sur les conseils de son ami Paul Paulin, il effectue un voyage en Auvergne au mois de juillet 1884. Il visite Thiers, Riom, le Mont-Dore et revient en Auvergne à Pont-du-Château, en août 1885. Après un bref passage à Paris, il rejoint Pont-du-Château à l’automne, y passe l’hiver et rentre à Paris au printemps suivant. Il ne réapparaît au Salon qu'en 1886 avec Neige en Auvergne.
De 1886 à 1893, l'artiste fréquente régulièrement le littoral boulonnais. L'une de ses créations, La Plage de Boulogne-sur-Mer, est particulièrement importante puisqu'elle met en avant une représentation de cabines de plages utilisées alors. Celles-ci étaient montées sur roues et tirées par un cheval jusqu'à la mer ce qui permettait aux dames de ne pas se découvrir avant le contact direct de la mer