Mit der „Kriegskunst“ hat sich Mayer sein ganzes Leben lang beschäftigt. Aus seinen biographischen Aufzeichnungen ist bekannt, dass er durch im Elternhaus logierende Soldaten frühen Kontakt mit dem Militär hatte. Während seiner ersten 3 Monate in der Lateinschule stellte Mayer eine Mappe mit Plänen und Zeichnungen zur Militärarchitektur zusammen. Verschiedene Versuche eine Militärlaufbahn einzuschlagen schlugen fehl.
Das Fortifikationsbuch entstand wahrscheinlich zur gleichen Zeit wie der Mathematische Atlas. Das „Buch“ besteht aus 74 Seiten, die bisher nur als Einzelblätter vorliegen. Sie wurden 1983 von Eric G. Forbes in der Nicolai-Sammlung der Württembergischen Landesbibliothek Stuttgart entdeckt. Außer dem Exemplar in Stuttgart gibt es nur ein Fragment von 33 Seiten, das der Tobias-Mayer-Verein besitzt, und das kolorierte Abbildungen enthält.
