Родился в Туле в семье отставного офицера. Получил хорошую домашнюю подготовку и в 1835 г. был зачислен сразу в третий класс Новгород-Северской гимназии. После окончания ее в 1840 г. поступил на юридический факультет Московского университета, после блестящего окончания которого был оставлен в университете для подготовки к профессорскому званию.
В 1846 г. был назначен исполняющим обязанности профессора камеральных наук ярославского Демидовского лицея по кафедре энциклопедии законоведения, государственного права и науки финансов. Либеральные взгляды молодого профессора привели к конфликтам с начальством лицея. Из-за обвинений в неблагонадёжности в сентябре 1849 г. оставил лицей.
Некоторое время зарабатывал себе на жизнь переводами статей из иностранных журналов, рецензиями и обзорами в журналах. Через полтора года переехал в Санкт-Петербург, где устроился на достаточно мелкую чиновничью должность столоначальника Департамента духовных дел и иностранных вероисповеданий. Стал сотрудничать в журналах «Современник» и «Библиотека для чтения».
В январе 1854 г. перешел на работу преподавателя русской словесности в Гатчинский сиротский институт. Уже в 1855 г. стал инспектором классов Гатчинского сиротского института. В стенах этого учебного заведения обнаружил архив одного из прежних инспекторов, в котором нашёл, как писал позже, «полное собрание педагогических книг». Найденные книги оказали на него огромное влияние. Впоследствии, под влиянием идей, полученных от прочтения этих книг, написал одну из лучших своих статей по педагогике «О пользе педагогической литературы».  

В 1859 г. его пригласили на должность инспектора классов Смольного института благородных девиц, где ему удалось провести значительные прогрессивные изменения. Так, исходя из своего главного принципа демократизации народного образования и народности воспитания, ему удалось убрать существовавшее до этого разделения состава учащихся на «благородных» и «неблагородных», ввёл практику преподавания учебных предметов на русском языке и открыл специальный педагогический класс, в котором осуществлялась подготовка учащихся для работы в качестве воспитательниц. А также ввёл в практику педагогической работы совещания и конференции педагогов, а воспитанницы получили право проводить каникулы и праздники у родителей.
После конфликта с начальницей института в 1862 г. был направлен за границу для лечения и изучения школьного дела. За это время побывал в Швейцарии, Германии, Франции, Бельгии и Италии, в которых посещал и изучал учебные заведения - женские школы, детские сады, приюты и школы, особенно в Германии и Швейцарии, считавшиеся самыми передовыми в части новаций в педагогике. Свои заметки, наблюдения и письма этого периода объединил в статье «Педагогическая поездка по Швейцарии».
За границей в 1864 г. написал и издал учебную книгу «Родное слово», а также книгу «Детский мир». По сути это были первые массовые и общедоступные российские учебники для начального обучения детей.
В середине 1860-х гг. Ушинский с семьёй вернулся в Россию. Свой последний главный научный труд, названный «Человек как предмет воспитания, опыт педагогической антропологии», начал печатать в 1867 г. В этой работе он дал ценный психологический анализ цепочки: ощущение прекрасного - чувствование прекрасного - осознание; обосновал предмет педагогики, её основных закономерностей и принципов.
В последние годы жизни выступал как видный общественный деятель. Он писал статьи о воскресных школах, о школах для детей ремесленников, а также принял участие в учительском съезде в Крыму.
Умер 22 декабря 1870 (3 января 1871) года. Похоронен в Киеве на кладбище Выдубицкого монастыря.