Niepewna sytuacja hiszpańskich Habsburgów, którzy byli na skraju wyginięcia z powodu braku męskich spadkobierców, przejawiała się w plotkach, że syn naznaczył tak katastrofalnie przez konsekwencje masowego chowu wsobnego była w rzeczywistości córką, która została przedstawiona światu jako chłopiec z powodu paniki, że dynastia dobiegła końca.
Książę był żałosnym widowiskiem, a jego słabe zdrowie spowodował, że rodzina obawiała się o jego życie. Charles cierpiał z powodu dziwacznej brzydoty; w nim klasyczna fizjonomia habsburska – prognozująca szczęka i wydłużona czaszka – była wyolbrzymiona do niemal kreskówkowego stopnia.
W ówczesnych przesądnych wierzeniach jego żałosny stan i fizyczna deformacja były przez niektórych interpretowane jako dowód czar. Nieudanym próbom wyleczenia go przez lekarzy towarzyszyły okultystyczne praktyki i egzorcyzmy wykonywane przez kapłanów.
Ze względu na swoją słabość (miał wrodzoną wadę serca) książę traktowano z niezwykłą ostrożnością jak dziecko. Nie uczył się czytać i pisać aż do stosunkowo późnego wieku i został wykluczony z jakiejkolwiek wyższej edukacji, w wyniku czego jako dorosły był trzymany z dala od spraw rządowych. Jego zachowanie naznaczone było głupotą i infantylizmem; na przykład uwielbiał liczyć rzeczy, co było czynnością, z której czerpał wielką przyjemność i pewność.
Rzeczywisty stan Karola jest trudny do oceny z dzisiejszej perspektywy. Potrzebowałby starannego, sumiennego przewodnictwa, czego nie potrafili zapewnić otaczający go ludzie, ponieważ różne ugrupowania na dworze były bardzo zainteresowane słabym królem. Przez całe swoje życie Karol znajdował się pod zmieniającym się wpływem rywalizujących frakcji, które jednak były zjednoczone w swoich wysiłkach instrumentalizacji króla do własnych celów.
A na Karola rzeczywiście łatwo było wpływać: zawsze podążał za sugestie otaczających go osób, od których był całkowicie zależny. Początkowo największy wpływ na kruchego psychicznie monarchę wywarła jego matka i jej doradca, austriacki jezuita i spowiednik Johann Eberhard Nithard, a później premier Fernando Valenzuela. Później przyrodni brat Charlesa, Don Juan José, owoc pozamałżeńskiego związku między jego ojcem a aktorką Marią Calderón, stał się dla niego ważną postacią. Jednak Juan José również nadużył króla jako narzędzia do realizacji swoich ambicji.
Zgodnie z ostatnią wolą swojego ojca, Filipa IV, Karol miał zostać uznany za pełnoletniego, gdy skończył czternaście lat i przyjąć regencja. Matka Karola, królowa wdowa Maria Anna, chciała temu zapobiec, argumentując, że jej syn nie był jeszcze wystarczająco dojrzały psychicznie lub fizycznie, by sprostać tak wielkiej odpowiedzialności. Karol pod wpływem opozycji odmówił jednak złożenia podpisu pod porozumieniem, odkładając na dwa lata deklarację większości. Dopiero po silnej perswazji matki został nakłoniony do podpisania umowy.
Po osiągnięciu pełnoletności w 1675 roku znalazł się pod wpływem swojego przyrodniego brata Juana José, który po powrocie do dwór z wygnania pozbawił władzy partii królowej wdowy i objął regencję siłą broni.
Don Juan José zarządzał sprawami rządu w imieniu Karola aż do swojej śmierci w 1679 roku. Zachęcał do rozwoju jego słabego brata i wydawało się, że nastąpiła poprawa. W ramach swojej polityki zbliżenia z Francją wynegocjował małżeństwo Karola z francuską księżniczką Marie Louise of Orleans.
Po nagłej śmierci Don Juana José Charles ponownie znalazł się pod wpływem swojej matki. Druga żona Karola, Maria Anna z Palatynatu-Neuburga, również wpłynęła na króla na swoją korzyść i został zdegradowany do roli zwykłego pionka w walce o władzę między matką a żoną.