小说描写女主人公海丝特·白兰跟丈夫从英国移居当时尚属英殖民地的美国波士顿。中途丈夫被印第安人俘虏。海丝特只身到美后，迫于生活，被一青年牧师诱骗怀孕。此事，被当地虚伪的清教徒社会视为大逆不道。当局把海丝特抓起来投入监狱，游街示众，还要终生佩带象征耻辱的红色的A字（Adultery：通奸女犯）和站在示众台上受审。州长亲自主持了对海丝特的审讯，她所属教区的牧师丁梅斯代尔——一个被公众视为最高道德典范的诱骗海丝特的奸夫，也假惺惺地劝说她招出奸夫的姓名。但海丝特宁愿一人受辱，誓死也不招供。在远离社会，远离人群，受尽屈辱的处境中，海丝特孤苦顽强地生活着，全仗刺绣为生。她生活中的惟一支柱是抚养掌上明珠般的女儿珠儿。海丝特这种忍辱负重、代人受过和不屈不挠的精神，使丁梅斯代尔大为感动，也大受刺激，不久他便心力交瘁地病倒了。而获释归来，一直在暗中侦察底细的海丝特的丈夫罗杰·奇林渥斯医生，在给丁梅斯代尔治病中，已基本了解到了真情，并欲置丁梅斯代尔于死地。为了逃脱，海丝特跟丁梅斯代尔议定在新市长就职那天，带上孩于一同乘船到“看不到白人足迹”的地方去。但此事也被奇林渥斯 识破，逃脱不成。于是，丁梅斯代尔在新市长就职那天，携海丝特和珠儿走上示众台，当丛宣布了自己诱骗海丝特的事实，并死 在海丝特怀抱中。海丝特也从此得到了解放，带着珠儿远走他方。若干年后，珠儿长大成人，安了家立了业，而海丝特却一人 再回到波士顿，仍带着那个红色的A字，用自己的“崇高的道德和助人精神”，把耻辱的红字变成了道德与光荣的象征，直到老死。

霍桑开始是以短篇小说家著称的，诚如第一个自觉地把短篇小说作为一种独立的文学体裁并提出短篇小说创作理论的爱伦·坡（１８０９—１８４９）在《评霍桑的（复述的故事）》一文中所说：短篇小说的创作过程是由作家“精心设计了某种希冀的单一效果；于是他编制情节并将其连缀起来，以期在最大程度上达到预定的效果。”美国堪称短篇小说的王国，在开创这一体裁上，霍桑和爱伦·坡同样功不可没。

霍桑曾在作品中多次声明，他写的不是小说，而是“罗曼史”。用我们今天惯用的文学术语来说，就是他写的不是现实主义小说而是浪漫主义小说。我们姑且不去争论这样分类的概括性与各自的定义，但无论如何，现实主义强调的是客观描绘，浪漫主义则侧重于主观抒发。在霍桑看来，创作“罗曼史” 时，也就更可以随心所欲地自由发挥作者的想象力，而不必拘泥于现实。他这样做了，而且取得了成功，不愧是美国文学史上浪漫主义小说的开创者。

霍桑还进一步把他的“罗曼史”称为“心理罗曼史”，这足见其对心理描写的重视。他之所以重心理描写，一方面固然受时代和宗教的影响，将精神和灵魂混为一谈，认为灵魂既然有善恶，有爱恨，有罪孽，就应该揭示出来，以达惩恶扬善、颁爱抑恨的目的；但另一方面，人的行为举止终有其心理依据，如不进行心理挖掘，人物只能停留在表象上，必然显得肤浅。对于惯于阅读我国传统的以白描手法刻画人物的读者，或许会觉得其故事节奏过于缓慢，但他却是美国心理分析小说的鼻祖。

爱默生在论述自然的本质时提出：“每一种自然现象都是某种精神现象的象征物”；霍桑也认为，客观物质世界仅仅是假象，其“灵性”才是本质。因此，在霍桑的作品中，一景一物都有其比喻象征的含义。当年，英国作家威廉·朗格伦在《农夫彼尔斯》（１３６２）和约翰·班扬在《天路历程》（１６７８—１６８４）这类宗教小说中，就曾把七大罪恶或人的品德变成具体人物登场。这种把抽象概念人格化并用来直接给人物命名的写法显然比脸谱化更为原始和粗糙。霍桑的象征比拟笔法却另辟溪径，况物写景不仅配合抒情和渲染气氛，简直本身当真有“灵性”，成为故事的参与者，缺了便会显出不足。这一手法当即为麦尔维尔所效法，经过爱伦·坡的推崇，转而被法国的波德莱尔进一步发扬，遂开创了现代派文学的象征主义流派。就此而论，称霍桑是象征主义的奠基人并不为过。