Georg bekommt über die Jahre fünf Geschwister. Die Ehe seiner Eltern aber ist ausgesprochen unglücklich, Georg Elsers Jugend ist hart, oft freudlos. Er berichtet darüber 1939 im Gestapo-Verhör, das nach wie vor die wichtigste Quelle zu seinem Leben darstellt. "Mein Vater", gibt er zu Protokoll, "hat sich in der Landwirtschaft wenig betätigt, er hat zuerst Holz geführt und dann später einen eigenen Holzhandel angefangen. Die Hauptlast der Landwirtschaft lag auf meiner Mutter. Ich und meine Geschwister mußten sehr früh im Stall, auf dem Feld und im Haus mithelfen. Ich als der Älteste war auch immer die Kindsmagd für meine jüngeren Geschwister."

Ludwig Elser ist häufig krank, die Familie verarmt. Vor allem aber überschatten der Alkoholismus des Vaters und dessen Gewalttätigkeit Georg Elsers Jugend. Er selbst wird später weder rauchen noch trinken.

1910 trennt sich die Mutter kurzfristig von ihrem Mann, kehrt jedoch bald zu ihm zurück. Im selben Jahr wird Elser in Königsbronn eingeschult. Ein Klassenfoto zeigt die Armut der Schülerinnen und Schüler: Die meisten sind barfuß; Elser ist in einer der hinteren Reihen zu erkennen. 1917, im dritten Jahr des Ersten Weltkrieges, beendet er 14-jährig die Schulzeit.

Sechs Monate lang hilft er danach seinem Vater im Holzhandel und seiner Mutter in der Landwirtschaft – bis er im Herbst 1917 eine Lehre als Eisendreher im Königsbronner Hüttenwerk beginnt. Doch offenbar überfordert ihn die Arbeit gesundheitlich, sodass er die Ausbildung 1919 abbricht und Tischler lernt. Vor allem der Möbelbau macht ihm Freude. Im Frühjahr 1922 legt er in der Gewerbeschule in Heidenheim die Gesellenprüfung ab, nach eigenen Angaben als Bester.

Die folgenden Jahre sind in vieler Hinsicht prägend. Elser wird Mitglied im Holzarbeiterverband; 1928/29 tritt er dem kommunistischen Roten Frontkämpferbund bei, der paramilitärischen Organisation der KPD, offenbar ohne sich in beiden Organisationen stark zu engagieren. Er wählt nach eigener Aussage die KPD als "Arbeiterpartei". Mit Leidenschaft aber erfüllt ihn vor allem sein Beruf.

Zeitgenossen beschreiben ihn als einen sehr genau arbeitenden Tischler. Immer wieder überprüft er das Geschaffene. Als er einem Freund ein Kinderbett liefert, belässt er es nicht dabei, es aufzustellen, sondern inspiziert es noch einmal ausgiebig, ja kommt am nächsten Tag zur abermaligen Prüfung vorbei. Er empfindet Stolz auf sein Handwerk.

Anfang 1923 wechselt er zu einer Möbelfabrik in Aalen, wo er Kücheneinrichtungen und Schlafzimmermöbel fertigt. Wegen der einsetzenden Hyperinflation muss er die Stelle jedoch im Herbst 1923 aufgeben. Für eine Weile kehrt er zurück zu den Eltern.