Suomalaisen kirjallisuuden synkimmäksi runoilijaksi luonnehdittu Kaarlo Kramsu syntyi Oulussa joulukuussa 1855. Isä Antti Kramsu oli liminkalaisen torpparin poika, joka oli muuttanut kaupunkiin rengiksi. Myöhemmin hän elätti perhettään merimiehenä laivoilla, jotka veivät puuta ja tervaa Oulusta vieraille rannoille. Äiti Brita Lisa Anglén oli puuseppämestarin tytär. Pariskunnalle syntyi kuusi lasta, joista neljä eli aikuiseksi asti. Kaarlo oli perheen kuopus.

Kramsun perheen kolmihuoneinen asunto sijaitsi Heinätorin kulmilla. Koti oli vähävarainen, ja säälimätön merimieselämä kulutti perheenpäätä. Ikääntyessään Antti Kramsu sairasteli ja menetti vähitellen terveytensä. Lisätuloja perhe hankki koululaisten majoittamisella.

Taloudellisista vaikeuksista huolimatta vanhemmat halusivat kouluttaa lapsiaan. Kaarlo Kramsu sai aluksi yksityisopetusta maisteri Pattersonin koulussa, jossa valmistettiin oppilaita "isoa koulua" eli alkeisoppilaitosta varten. Elementärläröverket i Uleåborg- nimiseen alkeisoppilaitokseen Kaarlo pääsi 8-vuotiaana. Koulutalona oli vanha triviaalikoulu, nykyisen lyseon puistonpuoleinen keskiosa ja pari lähitaloa. Yliopistoon johtava seitsemänluokkainen koulu oli ruotsinkielinen, mutta joitain aineita opetettiin myös suomeksi. Kaksikielisyys aiheutti hankaluuksia, ja kielten asemasta kiisteltiin Kramsun kouluajoista aina 1900-luvulle saakka. Ruotsin kieli tuskin vaikeutti Kaarlo Kramsun opintoja, sillä Oulu oli kaksikielinen kaupunki ja niin oli Kramsun kotikin. Äiti osasi suomen lisäksi myös ruotsia ja opetti sitä lapsilleen isän merimatkojen aikana. Kramsun opintomenestys ei häikäissyt, mutta runoilu häneltä luonnistui jo nuorena poikana. Syksyllä 1870 tuolloin 14-vuotiaan Kaarlon runoja julkaistiin konventin eli toverikunnan suomenkielisessä Pohjotar-lehdessä, jota hän oli innokkaasti ryhtynyt avustamaan. Nuoren runoilijan säkeet kertoivat isänmaallisuudesta ja innokkaasta suomenmielisyydestä

"Eikös me oo Suomalaiset,
Eikös tää oo Suomenmaa
Miksikäs siis muukalaiset
Kielet meitä rasittaa?"

– Ruotsin kielelle, 1870.

Kaarlon vanhemmat muuttivat vuonna 1872 Porvoon lähelle Anjalan Heikkilään,missä veli Janne työskenteli sahan hoitajana. Kaarlo jäi asumaan Liisa-sisarensa luo Ouluun käydäkseen koulunsa loppuun. Hän jäi kuitenkin luokalle ja siitä suivaantuneena haki rehtorilta erotodistuksen ja muutti vanhempiensa ja veljensä luo Porvooseen. Kramsu kävi viimeisen luokan uudelleen Porvoon lyseossa ja pääsi ylioppilaaksi toukokuussa 1874. 

Kramsun lapsuus- ja kouluajasta ei ole säilynyt paljon aineistoa. Oulun aikaisten naapurien mielestä Kramsut olivat "siivoa ja itseolevaista väkeä, joista ei paljon kuulunut." Perheenjäsenten välit olivat lämpimät, ja yhteyttä sisarusten ja vanhempien kesken pidettiin aikuisenakin yllä kirjeitse. Erityisesti Kramsun veljesten keskinäinen suhde oli läheinen, mistä todisteena oli läpi elämän kestänyt tiivis kirjeenvaihto. Janne Kramsu myös tuki runoilijaveljeään taloudellisesti aina viimeisiin elinvuosiin asti. Sahanhoitajana, liikemiehenä ja pankinjohtajana menestynyt veli oli korvaamaton apu perheelleen niukkuuden aikoina.