除了其剛強勇悍的形象會存活于世人的心中外，卡斯特羅背后風流愛情史，亦為人津津樂道。他曾先后兩次結婚，更盛傳有一大籮情婦和私生子女，不過其家庭生活鮮為人知。有傳聞指卡斯特羅最多有10名兒子。
傳有10子
卡斯特羅的首任妻子是出生于古巴政治名族的巴拉特，2人相識于大學，隨后相戀並于1948年成婚，育有一子。由于卡斯特羅當年已開始從事反美活動，中情局在巴拉特臨盆時派人將其綁架，直至誕下卡斯特羅長子菲利克斯后，更把巴拉特送到美國，脅迫她講出卡斯特羅反美活動的秘密。2人后來離婚，曾有報道指巴拉特在2006年曾回到古巴探訪兒子，亦有可能探望過卡斯特羅。亦有消息指卡斯特羅在1980年與教師德爾維爾結婚，德爾維爾更于1962年至1974年間為卡斯特羅生下5名兒子。
除了正式的髮妻外，亦曾有人出書大爆卡斯特羅至少兩次有婚外情，其中一名情婦是以美麗聞名的克勞斯，及曾擔任卡斯特羅私人秘書30多年的曼杜萊。
年長卡斯特羅5歲的曼杜萊，是卡斯特羅的女友、助手、顧問，像姐姐般呵護這位古巴領袖。卡斯特羅對她極為信任，曼杜萊同時也深受古巴人民的愛戴。
有評論認為，曼杜萊是卡斯特羅生命中最重要的女人，被視為古巴革命的“第一夫人”，她1980年死于肺癌。
獄卒故意傳錯書信妻發現婚外情
1953年，卡斯特羅因為發動反巴蒂斯塔武裝起義失敗，被捕入獄。身處獄中的卡斯特羅念念不忘對雷韋爾塔的思念，一直與她鴻雁傳書。可獄卒從中使壞：把卡斯特羅寫給妻子和雷韋爾塔的書信故意傳錯，結果，巴拉特發現了丈夫的婚外情。
1955年，卡斯特羅獲大赦，雷韋爾塔得知后興奮地徹夜未眠。卡斯特羅出獄那天，她在歡迎的人群中高喊“菲德爾，菲德爾”。重逢的喜悅使兩人再也壓抑不住心中的愛火，他們不顧世俗觀念生活在了一起。
婚后不久，雷韋爾塔懷孕了。但那時正值卡斯特羅去墨西哥建立游擊隊的前夕。卡斯特羅最終還是離開了愛人，踏上了新的征途，即使是女兒阿麗娜的出世也沒能使這對深愛的戀人再走到一起。
1959年1月1日，卡斯特羅領導的革命奪取政權。他傳奇般的英雄經歷激起了很多年輕女子的愛慕之情。一個名叫瑪麗塔的旅美德國女人就是其中之一。那年，19歲的瑪麗塔在哈瓦那邂逅了卡斯特羅，兩人不久便墜入情網。不過，這段戀情只持續了7個月。多年后，瑪麗塔曾被美國中情局招募派去刺殺卡斯特羅，可她最終沒能下得去手。
熱愛棒球控球型投手
卡斯特羅中學時對十分熱愛運動，畢業時學校的評語中寫著：“他是正直的運動家，熱心而驕傲地捍衛學校榮譽。”
1945年就讀哈瓦那大學法律系，十分熱愛棒球，是名控球型投手，經常在哈瓦那球場出賽，大聯盟的華盛頓參議員隊和紐約巨人隊都有意找他到美國打球。同伴梅迪納回憶當年卡斯特羅能投出很棒的外角曲球，以及可以剛好低到膝蓋的變化球。
卡斯特羅加入左翼激進團體后便將重心轉向革命運動。1948年成為哈瓦那大學法學院學聯主席，無暇投球。
革命成功后的卡斯特羅，為古巴職棒哈瓦那糖王隊付清債務，並于1959年7月24日Los Barbudos糖王對羅徹斯特紅翼隊賽事上場投球，投一局、兩次三振。吸引2萬6532名球迷觀戰，創下洲際聯盟該年最多的觀眾人數紀錄。
