Den spåriga situationen för de spanska Habsburgarna, som var på väg att utrotas på grund av bristen på manliga arvingar, manifesterade sig i rykten om att sonen markerade så katastrofalt av konsekvenserna av massiv inavel var i själva verket en dotter som hade presenterats för världen som en pojke av panik över att dynastin var i slutet.
Prinsen var en ledsen skådespel och hans svaga hälsa fick familjen att frukta för sitt liv. Charles drabbades av en nästan bisarr fulhet; i honom överdrogs den klassiska Habsburg-fysiognomin – en prognatisk käke och långsträckt skalle – i nästan tecknad film.
I tidens vidskepliga övertygelser tolkades hans bedrövliga tillstånd och fysiska deformitet av vissa som bevis på förtrollning. De abortförsök som hans läkare gjorde för att bota honom åtföljdes av ockulta metoder och exorcismer utförda av präster.
Med tanke på hans svaghet (han led av en medfödd hjärtfel) behandlades prinsen med yttersta försiktighet som ett barn. Han lärde sig inte läsa och skriva förrän en relativt sen ålder och uteslöts från någon form av högre utbildning, vilket resulterade i att han som vuxen hölls borta från regeringens angelägenheter. Hans beteende präglades av obekvämlighet och infantilisme; till exempel älskade han att räkna saker, en aktivitet som han fick stor glädje och förtroende för.
Charles faktiska tillstånd är svårt att bedöma ur dagens perspektiv. Han skulle ha behövt noggrann, samvetsgrann vägledning, något som folket omkring honom inte kunde tillhandahålla, eftersom olika grupperingar vid domstolen hade ett stort intresse för en svag kung. Hela sitt liv var Charles under förändrad inflytande från rivaliserande fraktioner, som emellertid var enade i sina ansträngningar att instrumentalisera kungen för sina egna syften.
Och Charles var verkligen lätt att påverka: han följde alltid förslag från de omkring honom, på vilka han var helt beroende. Till en början hade hans mor och hennes rådgivare, den österrikiska jesuiten och bekännaren Johann Eberhard Nithard, och senare den första minister Fernando Valenzuela, störst inflytande på den mentalt bräckliga monarken. Senare blev Charles halvbror, Don Juan José, produkten av ett utomäktenskapligt samband mellan sin far och skådespelerskan Maria Calderón, en viktig figur för honom. Juan José missbrukade emellertid också kungen som ett instrument för hans ambitioner.
Enligt sin fars sista testamente, Filip IV, skulle Charles förklaras ha uppnått sin majoritet när han fyllt fjorton och anta regentet. Karls mor, dowagerdrottningen Maria Anna, ville förhindra detta och argumenterade för att hennes son ännu inte var mentalt eller fysiskt mogen nog för detta stora ansvar. Påverkad av oppositionen vägrade Charles emellertid att underteckna avtalet och skjuta upp förklaringen om sin majoritet i två år. Det var först efter en kraftig övertalning från sin mor som han fick att underteckna den.
Efter att ha uppnått sin majoritet 1675, kom han under påverkan av sin halvbror Juan José, som efter hans återkomst till exildomstolen hade berövat dowagerdrottningens parti sin makt och antog regentet med vapenmakt.
Don Juan José administrerade regeringsärenden i Charles namn fram till sin död 1679. Han uppmuntrade utvecklingen av hans svaga bror, och det verkade finnas en viss förbättring. Som en del av sin tillnärmningspolitik med Frankrike förhandlade han om ett äktenskap för Charles med den franska prinsessan Marie Louise av Orléans.
Efter Don Juan Josés plötsliga död kom Charles återigen under inflytande från sin mor. Charles andra fru, Maria Anna i Pfalz-Neuburg, påverkade också kungen i hennes favör, och han försämrades till att vara en ren bonde i maktkampen mellan sin mor och hans fru.