Родился 15 января 1891 г. в Варшаве. Родители - Эмиль Мандельштам и Флора Вербловская были евреями по национальности. В будущем, чтобы не афишировать свое еврейское происхождение, Иосиф сменил имя и стал Осипом. Отец занимался изготовлением перчаток, состоял в купцах первой гильдии. Мама - музыкант в консерватории. Именно она привила мальчику любовь к музыке и поэзии.

В 1897 г. семейство переезжает в Петербург. С 1900-1907 гг. обучается в Тенишевском училище. В начале XX века, это учебное заведение получило славу «кузницы культурных кадров».

Спустя год после выпуска из училища уезжает в Париж, становится студентом Сорбонны и Гейдельбергского университета. На протяжении двух лет усердно учится, увлекся и полюбил французскую поэзию и эпос.

К 1911 г. семья начала разоряться, и обучение в Европе сделалось невозможным, пришлось вернуться в Петербург. Поступает на историко-филологический факультет Петербургского университета, где обучается с перерывами до 1917 г.. Однако к учебе относился несерьезно, диплом по специальности так и не получил.

В это время он ведет бурную поэтическую жизнь, находясь в ее эпицентре. Начинает печататься в журнале "Аполлон", "Гиперборей" и "Новый Сатирикон". Регулярно участвует в собраниях Цеха поэтов, бывает в арт-подвале «Бродячая собака». Знакомится с Николаем Гумилевым Анной Ахматовой, Александром Блоком. В 1913 г. выходит дебютный сборник стихов поэта – «Камень».

В 1915 г. познакомился с Мариной Цветаевой. Между ними произошел короткий, бурный роман. Написал одно из самых трогательных стихотворений под названием «Нежнее нежного», посвященное Марине Цветаевой. Он почти никогда не писал любовную лирику, он говорил, что в его творчестве присутствует «любовная немота».

После Октябрьской революции становится невероятно популярным поэтом, его произведения постоянно печатают, он работает в издании «Наркомпрос», путешествует по стране, знакомит слушателей со своими стихотворениями.

В 1919 г. во время путешествия в Киев посещает поэтическое кафе «ХЛАМ», где знакомится со своей будущей женой, художницей Надеждой Хазиной. Личная жизнь поэта сложилась очень счастливо, супруга стала надежным помощником и соратником во всех делах. Детей у них не было. Во время гражданской войны скитается с женой по России, Украине, Грузии. У него была возможность эмигрировать в Турцию, однако предпочел остаться в России.

В 30-е годы продолжает много и плодотворно работать. В 1922 г. вышла вторая книга стихов «Tristia». В сборник вошли произведения, которые поэт написал в годы Первой мировой войны и во время революционного переворота. В 1923 г. вышла «Вторая книга» и с общим посвящением «Н. Х.» - жене. С мая 1925 по октябрь 1930 года наступила пауза в поэтическом творчестве. В это время писалась проза, в 1923 г. повесть «Шум времени» и в 1927 г. повесть «Египетская марка». В 1924-1926-м гг. увлекается написанием детской поэзии. Напечатал цикл стихов, получивший название «Примус», книгу поэзий «Шары», куда вошли стихи «Рояль», «Калоша», «Автомобилище». На жизнь зарабатывает стихотворными переводами. В 1928 г. вышла последняя книга стихотворений «Стихотворения» и сборник зарисовок «О поэзии».

В 1930 г. вернувшись в родной город из командировки по Армении, написал самый пронзительный свой стих - «Ленинград», который начинается со слов «Я вернулся в мой город, знакомый до слез».

В ноябре 1933 г. пишет антисталинскую эпиграмму «Мы живём, под собою не чуя страны…» («Кремлёвский горец»), которую читает полутора десяткам человек. Кто-то из слушателей донес на поэта. В мае 1934 г. его арестовали и отправили в ссылку в Чердынь (Пермский край). Там, несмотря на поддержку жены, он совершил попытку самоубийства, выбросившись из окна. Надежда Мандельштам искала способы спасти мужа и писала во все инстанции, друзьям и знакомым. Им позволили переехать в Воронеж. Там в полной нищете жили до 1937 г.. Здесь написал знаменитый цикл стихотворений «Воронежские тетради». После окончания ссылки возвратились в Москву. Тем временем "вопрос Мандельштама" еще не закрыт. Обсуждали на уровне наркома внутренних дел и Союза писателей стихи поэта, названные "доброжелателями" похабными и клеветническими. В начале мая 1938 г. был вновь арестован и по этапу отправлен в лагерь на Дальний Восток.

Умер 27 декабря 1938 г. в пересыльном лагере на Второй речке (сейчас окрестности Владивостока). Место захоронения поэта неизвестно.

Реабилитирован после смерти. В 1956-м по делу за 1938 год, и в 1987-м по делу за 1934 год.