De precaire situatie van de Spaanse Habsburgers, die op de rand van uitsterven stonden door het ontbreken van mannelijke erfgenamen, kwam tot uiting in geruchten dat de zoon zo rampzalig tekende door de gevolgen van massale inteelt was in feite een dochter die als jongen aan de wereld was voorgesteld uit paniek dat de dynastie ten einde was.
De prins was een triest schouwspel, en zijn zwakke gezondheid zorgde ervoor dat de familie voor zijn leven vreesde. Charles werd gekweld door een bijna bizarre lelijkheid; bij hem was de klassieke Habsburgse fysionomie – een prognatische kaak en langwerpige schedel – overdreven tot een bijna cartoonachtige mate.
In de bijgelovige opvattingen van die tijd werden zijn beklagenswaardige toestand en fysieke misvorming door sommigen geïnterpreteerd als bewijs van betovering. De mislukte pogingen van zijn artsen om hem te genezen, gingen gepaard met occulte praktijken en exorcismen die werden uitgevoerd door priesters.
Gezien zijn zwakheid (hij leed aan een aangeboren hartafwijking) werd de prins met uiterste zorg behandeld als een kind. Hij leerde pas op relatief late leeftijd lezen en schrijven en werd uitgesloten van elke vorm van hoger onderwijs, met als gevolg dat hij als volwassene weggehouden werd van de regeringszaken. Zijn gedrag werd gekenmerkt door zwakzinnigheid en infantilisme; hij hield er bijvoorbeeld van om dingen te tellen, een bezigheid waaraan hij veel plezier en geruststelling putte.
De werkelijke toestand van Charles is moeilijk te beoordelen vanuit een hedendaags perspectief. Hij zou een zorgvuldige, gewetensvolle begeleiding nodig hebben gehad, iets wat de mensen om hem heen niet konden geven, aangezien verschillende groeperingen aan het hof een groot belang hadden bij een zwakke koning. Zijn hele leven was Charles onder de veranderende invloed van rivaliserende facties, die echter verenigd waren in hun inspanningen om de koning te instrumentaliseren voor hun eigen doeleinden.
En Charles was inderdaad gemakkelijk te beïnvloeden: hij volgde altijd de suggesties van degenen om hem heen, van wie hij volledig afhankelijk was. Aanvankelijk hadden zijn moeder en haar adviseur, de Oostenrijkse jezuïet en biechtvader Johann Eberhard Nithard, en later de eerste minister Fernando Valenzuela, de grootste invloed op de mentaal kwetsbare monarch. Later werd Charles ‘halfbroer, Don Juan José, het product van een buitenechtelijke liaison tussen zijn vader en de actrice Maria Calderón, een belangrijke figuur voor hem. Juan José misbruikte de koning echter ook als instrument voor zijn ambities.
Volgens het testament van zijn vader, Filips IV, zou Karel op zijn veertiende zijn meerderjarigheid moeten hebben bereikt en aangenomen het regentschap. De moeder van Charles, de weduwe koningin Maria Anna, wilde dit voorkomen, met het argument dat haar zoon mentaal of fysiek nog niet volwassen genoeg was voor deze grote verantwoordelijkheid. Onder invloed van de oppositie weigerde Charles echter zijn handtekening onder de overeenkomst te zetten, waardoor de verklaring van zijn meerderheid met twee jaar werd uitgesteld. Pas na krachtige overreding door zijn moeder werd hij ertoe aangezet het te ondertekenen.
Nadat hij uiteindelijk in 1675 zijn meerderjarigheid had bereikt, kwam hij onder de invloed van zijn halfbroer Juan José, die na zijn terugkeer naar hof uit ballingschap had de partij van de weduwe-koningin haar macht ontnomen en het regentschap met wapengeweld overgenomen.
Don Juan José beheerde de regeringszaken in naam van Charles tot aan zijn dood in 1679. Hij moedigde de ontwikkeling van zijn zwakke broer, en er leek enige verbetering te zijn. Als onderdeel van zijn toenadering tot Frankrijk onderhandelde hij voor Charles een huwelijk met de Franse prinses Marie Louise van Orléans.
Na de plotselinge dood van Don Juan José kwam Charles opnieuw onder de invloed van zijn moeder. Karels tweede vrouw, Maria Anna van Pfalz-Neuburg, had ook invloed op de koning in haar voordeel, en hij werd gedegradeerd tot slechts een pion in de machtsstrijd tussen zijn moeder en zijn vrouw.