Był zbieraczem baśni i podań ludowych. Niektóre swoje dzieła tworzył i publikował wraz z bratem Wilhelmem; występowali wtedy jako bracia Grimm. Największy rozgłos przyniosło im zebranie i opracowanie baśni ludowych, które jako Baśnie braci Grimm zyskały duży rozgłos zarówno w Niemczech, jak i innych krajach, w których były tłumaczone.
Jacob Grimm zasłynął też jako twórca germańskiego językoznawstwa historyczno-porównawczego. Sformułował prawo głosowe dotyczące germańskiej przesuwki spółgłoskowej, tzw. prawo Grimma. Publikował liczne teksty średniowiecznej literatury niemieckiej: Lieder der alten Edda, Deutsche Sagen (1816-1818). Był autorem dzieł: Deutsche Grammatik (1819-1837, 4 t.), Deutsche Rechtsaltertümer (1828) i Deutsche Mythologie (1835). W 1858 roku wraz z bratem zaczął publikować Słownik niemiecki (Deutsches Wörterbuch). Dzieło to, niedokończone przez nich, kontynuowały następne pokolenia niemieckich uczonych. Ostatni jego tom ukazał się w 1961 roku.