Oказва се, че не само историите му са смущаващи, но любовният живот на Едгар Алън По също е бил страховит, повече от нормалното.
По се срещна със своята бъдеща невеста, Вирджиния Клем, когато тя е на 7 години, а той на 20, малко след смъртта на майка му през 1829 г. и малко преди да отиде в Уест Пойнт, когато По се мести в дома на семейство Клем. Техните родители – неговият биологичен баща (Дейвид По) и нейната майка (Мария Клем) са брат и сестра. Тъй като е визитата му се случва близко във времето след смъртта на майка му, някои смятат, че той е прехвърлил чувствата към майка си върху леля си Мария, а по-късно и върху братовчедка си.
Както и да е, изглежда, че По и Вирджиния бързо се сприятелили и тя дори му помага да свали една от съседките им, Мери Деверо. Вирджиния дори се сдобива с „кичур от косата на Деверо, който да даде на По“.
Работата обаче не се получила и в един момент око на По се обръща към Вирджиния. До 1835 г. хората вече забелязвали интереса му към младото момиче. Всъщност съпругът на полусестрата на Вирджиния, Нийлсън По, дори предлага да я „вземат и да я възпитат, за да не се ожени момичето на такава млада възраст“. Ядосан и в страх, че ще загуби любовта на живота си, през август 1835 г. По предлага да вземе при себе си и да се грижи за майката на Вирджиния и останалата част от семейството й в замяна на брака. Неговите аргументи и плам трябва да са надделяли, защото: „По тайно се венчае за Вирджиния… на 22 септември 1835 г. Той е бил на 26, а тя на 13, въпреки че в брачното свидетелство пише, че е на 21 години“.
Има известен спор дали тази тайна церемония някога се е състояла или не. Това обаче няма значение, защото двамата все пак се женят на публично място на 16 май 1836 година.
Много апологети на По твърдят, че отношенията между него и Вирджиния: „може да са били безбрачни и двамата живеят заедно по-скоро като брат и сестра. Във всеки случай няма доказателства, че тя някога е забременяла.“
В подкрепа на тази теория, се посочва главната героиня в „Анабел Ли“, „девойка“, за която се говори, че е била вдъхновена от Вирджиния.
Това изглежда обаче малко вероятно поради няколко причини, включително и рядката й красота: „Имаше големи черни очи и перлено бяло тяло. Бледото й лице, блестящите й очи и черната й косата придаваха на Вирджиния неземен вид. Човек усещаше, че тя е почти дух…“
Освен това Вирджиния беше посветена на По. Тя държеше негова снимка под възглавницата си и дори написа това акростично стихотворение за него като подарък за Свети Валентин през 1846 г.:
Ever with thee I wish to roam –
Dearest my life is thine.
Give me a cottage for my home
And a rich old cypress vine,
Removed from the world with its sin and care
And the tattling of many tongues.
Love alone shall guide us when we are there –
Love shall heal my weakened lungs;
And Oh; the tranquil hours we’ll spend,
Never wishing that others may see!
Perfect ease we’ll enjoy, without thinking to lend
Ourselves to the world and its glee –
Ever peaceful and blissful we’ll be.
Въпреки обожанието на Вирджиния, По явно продължава да се заглежда по хубавици и в един момент се спира на Франсис Сарджент Осгуд. Двамата си разменят писма, в които може да се забележи интерес. Това обаче не се приема добре от трета дама, Елизабет Ф. Елет, която също изглежда си пада по По. Последва скандал, който включва обиди и обвинения, и в крайна сметка слухове, че По е „обект на лудост“. Въпреки че Вирджиния е била наясно и не особено загрижена за флиртовете на По, гадният скандал я засяга дълбоко.
…
В началото на януари 1842 г. Вирджиния развива туберкулоза, известна тогава като охтика. Здравословното й състояние прогресивно се влошава и до началото на 1846 г. тя казва на приятел: „Знам, че скоро ще умра. Знам, че не мога да оздравея, но искам да бъда възможно най-щастлив и да направя Едгар щастлив“.
На смъртния си одър някои твърдят, че Вирджиния обвинява за смъртта си ревнивата госпожа Елет, заявявайки, че „Госпожа Е. беше моят убиец“. Вирджиния умира на 30 януари 1847 г.