1870 lernte Rohlfs den Maler Ludwig Pietsch kennen, der ihn an die Großherzogliche Kunstschule in Weimar empfahl, wo er bei Paul Thumann lernte. Zu dieser Zeit malte er vor allem naturalistische Werke. Aufgrund einer chronischen Knochenmarksentzündung musste ihm 1873 ein Bein amputiert werden, aber schon ein Jahr später nahm er seine Studien wieder auf.

Ab 1884 war er als freischaffender Künstler tätig und seine Malweise wurde impressionistischer. Ab 1901 lehrte er an der Folkwangschule in Hagen. Ab 1910 ist Rohlfs eindeutig den Expressionisten zuzuordnen. Wiederkehrendes Motiv in seinen Arbeiten bis in die 1920er Jahre waren die mittelalterlichen Gebäude aus Soest. Zu seinem 75ten Geburtstag, 1924, wurde er Mitglied in der Preußischen Akademie der Künste.

Im Dritten Reich wurde seine Kunst als „entartet“ eingestuft und und er erhielt Malverbot. Einen Tag vor seinem Tod wurde er außerdem wieder aus der Preußischen Akademie der Künste ausgeschlossen.
Rohlfs gilt heute als einer der bedeutendsten deutschen Expressionisten.

Bekannte Werke
• Kinderbild – Robert Heydenreich, 1886
• St. Patrokli, 1906, Folkwang Museum Essen
• Visionäre Landschaft, 1912, Germanisches Nationalmuseum, Nürnberg