Krátce po chlapcově narození se rodina přestěhovala do nedalekých Daliměřic. Josef Pekař odmalička neměl na růžích ustláno. Na tuberkulózu mu zemřela matka a postupně i všech šest sourozenců. Jeho otec se po čase znovu oženil, a tak měl Pekař ještě dvě nevlastní sestry a bratra. Ti ovšem byli o dost mladší, a tak chlapec vyrůstal v podstatě sám.
V letech 1880–1888 navštěvoval mladoboleslavské gymnázium, které dnes nese jeho jméno. V Mladé Boleslavi si vyzkoušel, jak historik pracuje s prameny, když ho dějepisář Josef Bareš posílal do městského archivu, aby mu pořizoval výpisky. Svou lásku k historii Pekař naplno rozvinul během studií na Filozofické fakultě české Karlo-Ferdinandovy univerzity. V roce 1895 se krátce na mladoboleslavské gymnázium vrátil jako suplent, když jeho někdejší dějepisář Josef Bareš onemocněl.