Den prekære situasjonen til de spanske Habsburgere, som var på randen av utryddelse på grunn av mangel på mannlige arvinger, manifesterte seg i rykter om at sønnen markerte så katastrofalt av konsekvensene av massiv innavl var faktisk en datter som hadde blitt presentert for verden som en gutt av panikk over at dynastiet var på slutten.
Prinsen var et trist skuespill, og hans svake helse fikk familien til å frykte for livet sitt. Charles ble rammet av en nesten bisarr stygghet; i ham ble den klassiske Habsburg-fysiognomien – en prognatisk kjeve og langstrakt hodeskalle – overdrevet i nesten tegneserieaktig grad.
I den tidens overtroiske tro ble hans ynkelige tilstand og fysiske misdannelse tolket av noen som bevis på trolldom. De abortforsøkene som ble gjort for å kurere ham av legene hans, ble ledsaget av okkulte praksiser og eksorsismer utført av prester.
I lys av hans svakhet (han led av en medfødt hjertefeil) ble prinsen behandlet med ekstrem forsiktighet som et barn. Han lærte ikke å lese og skrive før en forholdsvis sen alder og ble ekskludert fra noen form for høyere utdanning, med det resultat at han som voksen ble holdt borte fra regjeringens saker. Hans oppførsel ble preget av imbecility og infantilisme; for eksempel elsket han å telle ting, en aktivitet som han fikk stor glede og trygghet av.
Charles faktiske tilstand er vanskelig å bedømme ut fra dagens perspektiv. Han ville ha trengt forsiktig, samvittighetsfull veiledning, noe folket rundt ham ikke klarte å levere, siden forskjellige grupperinger ved retten hadde stor interesse for en svak konge. Hele livet var Charles under skiftende innflytelse fra rivaliserende fraksjoner, som imidlertid var forenet i deres anstrengelser for å instrumentalisere kongen til egne formål.
Og Charles var virkelig lett å påvirke: han fulgte alltid forslag fra de rundt ham, som han var helt avhengig av. Først hadde hans mor og hennes rådgiver, den østerrikske jesuitten og bekjenneren Johann Eberhard Nithard, og senere den første statsminister Fernando Valenzuela, størst innflytelse på den mentalt skjøre monarken. Senere Charles halvbror, Don Juan José, et produkt av en ektefelle mellom faren og skuespilleren Maria Calderón, ble en viktig skikkelse for ham. Juan José misbrukte imidlertid også kongen som et instrument for sine ambisjoner.
I henhold til den siste viljen til faren hans, Filip IV, skulle Karl erklæres for å ha oppnådd sitt flertall når han fylte fjorten og anta regentskapet. Moren til Charles, dowager-dronningen Maria Anna, ønsket å forhindre dette og argumenterte for at sønnen ennå ikke var mentalt eller fysisk moden nok til dette store ansvaret. Påvirket av opposisjonen nektet imidlertid Charles å legge sin signatur til avtalen og utsette erklæringen om sitt flertall i to år. Det var først etter kraftig overtalelse fra moren at han ble tilskyndet til å signere den.
Etter at han til slutt oppnådde sitt flertall i 1675, kom han under påvirkning av halvbroren Juan José, som etter at han kom tilbake til eksilretten hadde fratatt gaven dronningens parti sin makt og antatt regentiet med våpenmakt.
Don Juan José administrerte regjeringens anliggender i Charles navn til sin død i 1679. Han oppmuntret utviklingen av sin svake bror, og det så ut til å være noe forbedring. Som en del av politikken for tilnærming til Frankrike forhandlet han et ekteskap for Charles med den franske prinsessen Marie Louise av Orléans.
Etter den plutselige døden til Don Juan José kom Charles igjen under innflytelse fra sin mor. Karls andre kone, Maria Anna i Pfalz-Neuburg, påvirket også kongen i hennes favør, og han ble degradert til å være en ren bonde i maktkampen mellom moren og kona.