Из семьи коллежского советника. Окончил Царскосельский лицей (1832), служил в канцеляриях Комитета министров и Государственного совета (1832—1840). С 1841 профессор кафедры русского языка и словесности Александровского Гельсингфорского университета; одновременно служил чиновником по особым поручениям при наместнике Финляндского княжества. С конца 1830-х писал статьи о шведской и финской природе, истории, литературе и фольклоре, сравнительной филологии, занимался переводами.
С 1852 член-корреспондент Императорской Академии наук, с 1853 профессор русской словесности в Царскосельском лицее (до 1862). Одновременно назначен преподавателем словесности, немецкого языка, истории и географии к Великим Князьям Николаю и Александру Александровичам (до 1859).
Адъюнкт (1855), экстраординарный академик (1856), ординарный академик (1858) Императорской академии наук, вице-президент (1889). Почётный доктор ряда российских университетов и шведского Лундского университета (1880), член многих российских и европейских историко-филологических научных обществ.
Труды Грота были изданы после его смерти в 5 томах (1898—1903); см. страницу Я. К. Грота в Научной педагогической электронной библиотеке.