Ukończył prawo na Uniwersytecie Stefana Batorego w Wilnie. W latach 1933-1934 związany z grupą literacką Żagary. Zadebiutował w 1933 roku w wileńskim dzienniku Słowo. We wczesnej twórczości poety dominują motywy wizyjno-fantastyczne i estetyzujące (poemat "Tropiciel" 1936). Po wojnie w poezji Rymkiewicza pojawia się tematyka społeczno-patriotyczna ("Z narodem" 1947), refleksje nad związkami człowieka z naturą ("Promień dla artysty" 1965) oraz rodzinnym krajobrazem ("Polskie drzewa" 1972). Rymkiewicz jest też autorem wielu utworów dla dzieci.