Den usikre situation for de spanske Habsburgere, der var på randen af udryddelse på grund af manglen på mandlige arvinger, manifesterede sig i rygter om, at sønnen markerede så katastrofalt af konsekvenserne af massiv indavl var faktisk en datter, der var blevet præsenteret for verden som en dreng af panik over, at dynastiet var ved en afslutning.
Prinsen var en trist skue og hans svage helbred fik familien til at frygte for sit liv. Charles var plaget af en næsten bizar grimhed; i ham blev den klassiske habsburgske fysiognomi – en prognøs kæbe og langstrakt kranium – overdrevet i næsten tegneseriegrad.
I den tidens overtroiske tro blev hans ynkelige tilstand og fysiske deformitet fortolket af nogle som bevis for fortryllelse. De abortforsøg, som hans læger gjorde for at helbrede ham, blev ledsaget af okkulte metoder og eksorcismer udført af præster.
I betragtning af hans svaghed (han led af en medfødt hjertefejl) blev prinsen behandlet med ekstrem forsigtighed som et barn. Han lærte ikke at læse og skrive før en forholdsvis sen alder og blev udelukket fra enhver form for videregående uddannelse med det resultat, at han som voksen blev holdt væk fra regeringens anliggender. Hans opførsel var præget af ubehagelighed og infantilisme; for eksempel elskede han at tælle ting, en aktivitet hvorfra han opnåede stor glæde og beroligelse.
Charles ‘faktiske tilstand er vanskelig at bedømme ud fra nutidens perspektiv. Han ville have haft brug for omhyggelig, samvittighedsfuld vejledning, noget som folket omkring ham ikke leverede, da forskellige grupperinger ved retten havde stor interesse for en svag konge. Hele sit liv var Charles under skiftende indflydelse fra rivaliserende fraktioner, som imidlertid var forenede i deres bestræbelser på at instrumentalisere kongen til deres egne formål.
Og Charles var virkelig let at påvirke: han fulgte altid forslag fra dem omkring ham, som han var helt afhængig af. Først havde hans mor og hendes rådgiver, den østrigske jesuit og tilståelse Johann Eberhard Nithard og senere den første minister Fernando Valenzuela, den største indflydelse på den mentalt skrøbelige monark. Senere blev Charles ‘halvbror, Don Juan José, et produkt af en eksternt ægteskabelig forbindelse mellem sin far og skuespillerinden Maria Calderón, en vigtig figur for ham. Juan José misbrugte imidlertid også kongen som et instrument til hans ambitioner.
I henhold til den sidste testamente fra sin far, Philip IV, skulle Karl erklæres for at have nået sit flertal ved at blive fjorten og antage regentiet. Karls mor, skovdronningen Maria Anna, ønskede at forhindre dette og argumenterede for, at hendes søn endnu ikke var mentalt eller fysisk moden nok til dette store ansvar. Under indflydelse af oppositionen nægtede Charles imidlertid at sætte sin underskrift på aftalen og udsatte erklæringen om sit flertal i to år. Det var først efter kraftig overtalelse fra sin mor, at han blev tilskyndet til at underskrive den.
Efter at have nået sit flertal i 1675 kom han under indflydelse af sin halvbror Juan José, som efter hans tilbagevenden til eksilretten havde frataget gifte dronningens parti sin magt og overtaget regentiet med våbenmagt.
Don Juan José administrerede regeringsanliggender i Charles navn indtil sin død i 1679. Han tilskyndede udviklingen af hans svage bror, og der syntes at være nogen forbedring. Som en del af hans tilnærmelsespolitik med Frankrig forhandlede han et ægteskab for Charles med den franske prinsesse Marie Louise af Orléans.
Efter Don Juan Josés pludselige død kom Charles igen under indflydelse af sin mor. Karls anden kone, Maria Anna fra Pfalz-Neuburg, påvirkede også kongen i hendes favør, og han blev nedbrudt til at være en ren bonde i magtkampen mellem sin mor og hans kone.