Rymkiewicz przede wszystkim znany jest ze swej twórczości poetyckiej. W 1957 wydał swój pierwszy tomik wierszy "Konwencje". Duże uznanie zdobył zwłaszcza tom "Matafizyka" z 1963 roku, a także późniejsza twórczość. W roku 2003 otrzymał Nagrodę Literacką „Nike” (przyznawaną przez Gazetę Wyborczą i Fundację Agory) za tom poezji "Zachód słońca w Milanówku", którą uznano za najlepszą polską książkę roku.

Jego program poetycki oparty jest na klasycyzmie rozumianym jako odwołanie się do tradycji literackiej i tworzenie na bazie odwołań do jej dorobku tak w sferze formy literackiej, jak i treści czy wątków. Jednak odwołania literackie, na jakich Jarosław Marek Rymkiewicz polega, to nie tradycyjny zestaw symboli sięgający do antyku, ale bogactwo form i charakterystyczne treści epoki baroku. Ten program poetycki wyraził on w książce "Czym jest klasycyzm. Manifesty poetyckie" z 1967. Zainteresowanie wątkami barokowymi przejawia się w wykorzystywaniu filozoficznych aspektów śmierci, przemijania biologicznego i przemijania w kulturze.

Drugim najbardziej znanym aspektem jego twórczości, obok poetyckiej, jest eseistyka historycznoliteracka oraz historyczna. W zbiorach esejów poświęconych historii literatury skupia się przede wszystkim na okresie polskiego romantyzmu oraz okolicznościach i szerszym tle życia i twórczości romantyków ("Aleksander Fredro jest w złym humorze", "Juliusz Słowacki pyta o godzinę").

Ukoronowaniem tych rozważań jest cykl "Jak bajeczne żurawie" poświęcony Adamowi Mickiewiczowi, a rozpoczęty tomem "Żmut". W kolejnych książkach cyklu Rymkiewicz dzieli się wynikami swoich wieloletnich badań nad życiem i twórczością Mickiewicza, próbując rozwikłać związane z tym niejasności i tajemnice, min. młodzieńcze miłości poety, szczegóły romansu z Marylą, proces filomatów, okres emigracyjny czy mistycyzm i działalność Mickiewicza w sekcie towiańczyków. Opierając się na źródłach z epoki podważa wiele przyjętych i uznanych za fakty szczegółów.

Swoistą formą literacką są dwie encyklopedie eseistyczne poświęcone życiu i twórczości poetów ("Słowacki", "Leśmian"), zaś w tomie "Przez zwierciadło" nie ucieka od rozważań biblijnych i teologicznych.

Drugim, po historii literatury, obszarem zainteresowań zawartych w książkach eseistycznych Rymkiewicza jest historia Polski. Przy czym skupia się on na przełomowych i kryzysowych momentach historii I Rzeczpospolitej ("Wieszanie", "Reytan", "Samuel Zborowski") czy okresu zaborów ('Wielki książę") oraz korzysta ze swoich doświadczeń z okresu powstania warszawskiego ("Kinderszenen").

W roku 2008 jego książka o insurekcji kościuszkowskiej "Wieszanie" została nagrodzona Nagrodą Literacką im. Józefa Mackiewicza.

Rymkiewicz zajmuje się także tłumaczeniem. Tłumaczył m.in. poezję anglo-amerykańską – Thomasa S. Eliota, Wallace Stevensa, oraz hiszpańską – Federico García Lorca, Pedro Calderón de la Barca (imitacja Życie snem, 1969).

Jest znany również jako dramaturg („Eurydyka”, „Odys”), tragediopisarz („Kochankowie piekła”) i komediopisarz („Ułani”), a także autor dwóch powieści ("Rozmowy polskie latem 1983" oraz "Umschlagplatz").