கொணடம்பேட்டை, நெல்லூர் மாவட்டம், ஆந்திர மாநிலத்தில் எஸ் பி சம்பமூர்த்தி மற்றும் சகுந்தலம்மா தம்பதியருக்கு மகனாக பிறந்தவர் பாலசுப்பிரமணியம். இவர் தந்தை எஸ் பி சம்பமூர்த்தி ஹரிஹத கலைஞர் ஆவார். இவர் உடன் பிறந்தவர்கள் ஐந்து சகோதரிகள் மற்றும் இரண்டு சகோதரர்கள் இருக்கின்றனர். இவர்களில் எஸ். பி. சைலஜா, கிரிஜா இளைய தங்கைகள் ஆவார். சைலஜா 5000க்கும் அதிகமான பாடல்களை தென்னிந்திய மொழிகளில் பாடியுள்ளார்.
இளவயதிலேயே பாலசுப்பிரமணியம் இசை ஆர்வத்தை வளர்த்து, தன் தந்தை ஹரிஹதத்தை வாசிக்கும் பொழுது கவனித்து, இசை கருவிகளை வாசிப்பதற்கும் கற்றுக்கொண்டார். அதில் முக்கியமானவை என்றால் ஹார்மோனியம் மற்றும் புல்லாங்குழல் ஆகும். இவர் பொறியாளர் ஆக வேண்டும் என்ற எண்ணத்துடன் ஜே.என்.டி.யு பொறியியல் கல்லூரியில் சேர்ந்தார்.
ஆனால் டைப்பாய்டு காய்ச்சலால் பாதிப்படைந்து பாலசுப்பிரமணியம் படிப்பை பாதியில் நிறுத்தி சென்னையில் இருக்கும் வேறொரு கல்லூரியில் படித்தார். இவரின் ஆசை பாடகனாக வேண்டும் என்பது. ஆனால் இவர் தந்தையின் ஆசை தன் மகன் பொறியாளன் ஆக வேண்டும் என்பதே. கல்லூரியில் படிக்கும் பொழுதே இசை போட்டிகளில் பலவற்றில் கலந்து கொண்டு பரிசுகளை வென்றார்.
1964 ஆம் வருடம் அமெட்டூர் பாடகர்கள் ஏற்பாடு செய்த சென்னை மையமாக கொண்ட தெலுங்கு கலாச்சார நிறுவனம் நடத்திய இசை நிகழ்ச்சியில் எஸ்.பி.பாலசுப்ரமணியம் முதல் பரிசு வென்றார். தொடக்ககாலத்தில் மெல்லிசைக் குழு ஒன்றை நடத்தி வந்தார். இதில் பங்கு பெற்றவர்களில் குறிப்பாக இளையராஜா (ஹிட்டார் பிறகு ஹார்மோனியம்), அனிருதா (ஹார்மோனியம்), பாஸ்கர் (percussion) மற்றும் கங்கை அமரன் (ஹிட்டார்) ஆகியோராவர்.
இவர்களுடன் சேர்ந்து எஸ்பி.பாலசுப்ரமணியம் நாடக கச்சேரிகளிலும் இசை நிகழ்ச்சியிலும் பாடல்கள் பாடுவதை வழக்கமாக கொண்டிருந்தார். எஸ் பி கோதண்டபானி மற்றும் கண்டசாலா நடுவராக இருந்து பங்குபெற்ற பாட்டுப்போட்டியில் எஸ்.பி.பாலசுப்ரமணியம் சிறந்த பாடகராக தேர்ந்தெடுக்கப்பட்டார். அடிக்கடி இசையமைப்பாளர்களை சந்திப்பதும், பாட வாய்ப்பு கேட்பதுமாக இருந்த எஸ்.பி.பாலசுப்ரமணியம்க்கு முதல் போட்டி பாடல் பி. பி. ஸ்ரீனிவாஸ் பாடிய “நிலவே என்னிடம் நெருங்காதே” என்ற பாடலாகும்.
