Педагог, просветитель чувашского народа, создатель современной чувашской письменности. Родился в семье крестьянина. Закончил историко-филологический факультет Казанского университета в 1875 году. В 1868 году, обучаясь в Симбирской гимназии, открыл в Симбирске частную школу, ставшую в последующем первой национальной школой, первым профессиональным учебным заведением чувашского народа – Симбирской чувашской учительской школой (1890), семинарией (1918), затем первым вузом – институтом народного образования (1920). И.Я. Яковлев способствовал открытию чувашских и других национальных школ в Поволжье.

 Для чувашских школ разработал методику обучения, творчески использовав педагогическое наследие К. Д. Ушинского и его последователей. В 1871 году Яковлев составил чувашский алфавит на основе русской графики и букварь, которые в дальнейшем были усовершенствованы. Новый «Букварь для чуваш с присоединением русской азбуки» выдержал при жизни Яковлева более 30 изданий и предназначался не только для обучения основам грамоты, но и для привития необходимых норм поведения. Созданные И.Я. Яковлевым книги для чтения составлены на основе рассказов из народного быта и образцов устного народного творчества, собирателем которого он был; его переводы классиков русской художественной литературы (А.С. Пушкина, И.А. Крылова, Л.Н. Толстого, Н.А. Некрасова и др.), а также изданные им научно-популярные книги способствовали формированию чувашского литературного языка и становлению национальной литературы, сближению их с передовой русской культурой. В 1875-1903 гг. Иван Яковлевич служил инспектором чувашских школ Казанского учебного округа, до 1919 года продолжал руководить созданным им в Симбирске чувашским педагогическим учебным заведением. В сентябре 1919 года отошел от дел и выехал в октябре 1922 года в Москву к сыну на постоянное жительство. Умер 23 октября 1930 года, похоронен на Ваганьковском кладбище. С 1958 года имя Ивана Яковлевича Яковлева носит Чувашский государственный педагогический университет. В Чебоксарах открыт памятник великому чувашскому просветителю, имеется мемориальный музей, в честь И.Я. Яковлева назван один из центральных проспектов города.