dwukrotnie żonaty: 1. Jarnett Fuller Olsen (do 1996, rozwód), 4 dzieci: syn Trent (ur. 06.05.1984) i 3 córki: Mary-Kate (ur. 13.06.1986), Ashley Olsen (ur. 13.06.1986), Elizabeth Olsen (ur. 16.02.1989); 2. McKenzie Olsen (od 10.03.1996), 2 dzieci: córka Taylor (ur. 1996) i syn Jacob "Jake" (ur. 1998)