"Вчера я в первый раз был у Панаева, - пишет он брату 16 ноября 1845 года, - и, кажется, влюбился в жену его. Она умна и хорошенькая, и вдобавок любезна и пряма до нельзя. Время я провожу весело".
Авдотье Панаевой было тогда 22 года. Невысокая, кокетливая брюнетка с безукоризненными чертами красивого и привлекательного лица, она вся точно сверкала: блеск ее зубов, ее карих глаз, ее светлой кожи, крупных бриллиантов на шее и в ушах, сливались в какое-то ослепительное сияние. Темное платье, отделанное кружевами, подчеркивало ее гибкую стройность. Такой увидел ее Достоевский, и она покорила его с первого взгляда. Но она всегда была окружена, и среди толпы поклонников Некрасов меньше всех скрывал свои чувства: через два года она стала его любовницей.
О своем увлечении Достоевский сам рассказал брату через три месяца после встречи с Авдотьей Яковлевной: "Я был влюблен не на шутку в Панаеву, теперь проходит, а не знаю еще. Здоровье мое ужасно расстроено, я болен нервами и боюсь горячки или лихорадки нервической" (1 февраля 1846).
Эта первая влюбленность была и мучительна и унизительна. С самого начала ему стало ясно, что на взаимность надеяться никак нельзя, и что чувство его обречено на медленное увядание. А к любовной неудаче присоединился еще и светский провал: интерес к нему в петербургскомобществе быстро упал, да и вел он себя самым нелепым и глупым образом.
"С первого взгляда на Достоевского, - рассказывает Панаева в своих воспоминаниях, - видно было, что это страшно нервный и впечатлительный молодой человек. Он был худенький, маленький, белокурый, с болезненным цветом лица; небольшие серые глаза его как-то тревожно переходили с предмета на предмет, а бледные губы нервно передергивались... По молодости и нервности он не умел владеть собой и слишком явно высказывал свое авторское самолюбие и высокое мнение о своем писательском таланте. Ошеломленный неожиданным блистательным первым своим шагом на литературном поприще и засыпанный похвалами компетентных людей в литературе, он, как впечатлительный человек, не мог скрыть своей гордости перед другими молодыми литераторами. С появлением молодых литераторов в кружке, беда была попасть им на зубок, а Достоевский, как нарочно, давал к этому повод своею раздражительностью и высокомерным тоном, что он несравненно выше их по своему таланту.
И пошли перемывать ему косточки, раздражать его самолюбие уколами в разговорах, особенно на это был мастер Тургенев - он нарочно втягивал в спор Достоевского и доводил его до высшей степени раздражения. Тот лез на стену и защищал с азартом иногда нелепые взгляды на вещи, которые сболтнул в горячности, а Тургенев их подхватывал и потешался (Тургенев написал едкую эпиграмму на Достоевского, сравнивая молодого писателя с новым прыщом на лице литературы.).
У Достоевского явилась страшная подозрительность... Достоевский заподозрил всех в зависти к его таланту... и почти в каждом слове, сказанном без всякого умысла, находил, что желают умалить его произведение, нанести ему обиду. Он приходил уже к нам с накипевшей злобой, придирался к словам, чтобы излить на завистников всю желчь, душившую его. Вместо того, чтобы снисходительно смотреть на больного, нервного человека, его еще сильнеераздражали насмешками". Раздражение это усиливалось тем, что насмехались над ним в присутствии любимой женщины, которая выказывала ему только оскорбительное снисхождение.
Любовь к Панаевой Достоевский переживал тем мучительнее, что она была, вероятно, единственной женщиной, так сильно его взбудоражившей.