他与紫上的故事，更是令无数读者感叹不已。在很多人心中，紫上就是光源氏的一生挚爱。
光源氏的一生，从未停止过追寻的脚步，他用藤壶做标尺，是以他才会在窥见年幼的紫上时，激动得浑身发抖，不禁热泪盈眶。「原来这孩子的相貌，非常肖似我所倾心爱慕的那个人，所以如此牵惹我的心目。」既然是藤壶的侄女，神貌与藤壶自然有所相似。
「我很想要她来住在身边，代替了那个人，朝朝夜夜看着她，求得安慰。」思至此，光源氏寻得契机，遂将这弱小如嫩草般的女孩儿，强行带回了自己的宅邸二条院，亲自伴其左右，教导所有，誓将其养IM体育育为自己心中最完美的女性，并据为己有，这也就是备受争议的「光源氏养成」(光源氏计划)。
在光源氏的悉心教导下，娇憨的紫上渐渐长成豆蔻年华的少女。长大后的她虽与姑母藤壶妃子并不相似，一颦一笑，一嗔一怒，却自有婉娈风姿，令一直流连花丛的光源氏也为之倾倒，遂终于不能自持，对这未解人事的少女有所干。而历经了最初的怨恨、惧怕与慌乱之后，紫上也从犹自青涩的少女蜕变成风华绝代的紫夫人：「气度高雅，容颜清丽，似有幽香逼人。教人看了，联想起春晨乱开在云霞之间的美丽的山樱，娇艳之色四散洋溢。」
紫夫人的容貌风姿，正似山樱开放盛时，满树花朵如雾裹烟封，流光胜雪，与春日清晨的艳丽云霞交相辉映，高洁脱俗的风姿中，又有浓丽之色铺天盖地，一颦一笑间，美得惊心动魄，直令人目眩神摇，不敢逼视。
然而即便是这般盛大夺目的美，也阻挡不住光源氏寻欢的脚步。从妩媚多情的尚侍胧月夜，冰作影、玉为魂的高洁斋院槿姬，到「看到这人，好像闻到五月橘连花带实的折枝的香气」的明石之君，「好比盛开的重瓣棣棠花，带着露水，映着夕阳」的玉鬘，再到「高贵秀美，好比二月中旬的新柳，略展鹅黄，而柔弱不胜莺飞」的女三宫，不论对方身份如何，年纪如何，光源氏都如同走马章台的浪子，为每一处美停驻凝目。
紫夫人自幼年即被光源氏带走，虽然父亲兵部卿宫尚在，却毫无父女情分可言。她身后，既无退路，亦无凭恃。唯一可依赖的便是光源氏那并不稳固的宠爱。因此，纵然「闻君有他心」，却既不能如文君一般「故来相决绝」的迂回试探，亦无法做到「摧烧之，当风扬其灰」的彻底决裂，连出家为尼、脱离红尘的要求也被光源氏一再拒绝。
因放不下藤壶，这才有了与紫夫人的羁绊，不可否认的是，紫夫人是光源氏一生最爱的女人。除了迎娶女三宫的几日，光源氏从未让紫夫人孤枕到天明；在他自我流放须磨时，也是将二条院的一切交给紫夫人打理；在她逝世后更是从此看破红尘，遁入空门。
但光源氏又是一个性格复杂的人，他懂得欣赏美，易哀伤，怀仁爱之心，却偏偏又做出许多世俗难容的事情，口若蜜饯且处处留情，在拥有紫夫人的同时还常常寻花问柳。
正如研究者姚继中所言：「紫上的不幸不是光源氏对她缺少爱造成的，而是对她爱得太深造成的，光源氏希望她能够承载他全部的情感，但他性格中的自私、怜悯、博爱、好色、哀愁等复杂成分并不是紫上能够全部承载的。」
在光源氏看来，紫夫人知风雅，识进退，其美无可比拟、没有界限：「这个人多年看惯，目染耳驯，并无特别惊人之处，然而毕竟无人赶得上她，真是一个奇迹。从无论哪一点上看来，她的气品都很高雅，周身没有一点缺陷，可使见者自觉羞惭。相貌艳如花月，姿态新颖入时。加之种种优雅的薰香融合集中，这便形成了一种最高的美姿。今年比去年更盛，今日比昨日更美。永远清新，百看不厌。」然IM体育而这样的美也终究禁不起如此的辜负与摧折，华服锦衣也终于掩盖不住紫夫人身心俱疲的芳魂支离。
「绿鬓愁中改，红颜啼里灭」，等不到「绿鬓愁中改」那一天，紫夫人就哀伤离世，其遗容之美，竟胜似生前：「紫夫人的头发随随便便地披散着，然而密密丛丛，全无半点纷乱，光彩艳艳，美不可言。灯光非常明亮，把紫夫人的颜面照得雪白。比较起生前涂朱抹粉的相貌来，这死后无知无觉地躺着时的容颜更见美丽。」
紫夫人终于从尘世烦恼中解脱，徒留光源氏一人孑立。而光源氏所希冀的，不要说与子偕老了，就连共赴极乐净土，也已成了奢望：「此种可悲之事，他从前曾经遭逢过好几次，然而从来没有尝过如此痛切的苦味。此度伤心，竟是过去所无，未来所不会有的。」此时此刻，他又成了那个孤独的孩童，无依无靠，孑然一身。也直到此刻他才恍然大悟，自己一生至爱的，并非藤壶，亦非明石之君或胧月夜等任何一人，而是相伴多年的紫夫人，然而懂得便是失去。
除了最后的「宇治十帖」，《源氏物语》全书都是以光源氏的情爱为线讲述故事，从光源氏初涉红尘到遁入空门。透过光源氏的爱情，我们也是在看光源氏爱别离、恨长久、求不得、放不下的背影。