El cementerio teutónico está situado entre la basílica de san Pedro y la sala Pablo VI para las audiencias. En la antigüedad, en ese lugar, se hallaba el circo de Nerón en la que murieron numerosos cristianos entre ellos San Pedro y es probable que ya desde ese tiempo el lugar se comenzara a usar para entierros.
En el 799, en el lugar Carlomagno funda la Schola Francorum. En 1454, el cementerio y la iglesia, que estaban en muy mal estado, fueron reconstruidos por miembros de origen alemán que formaban parte de la curia romana que donaron fondos para una reconstrucción total de la zona, garantizando su mantenimiento a través de los siglos con la fundación de la Archicofradía la "Hermandad de los pobres muertos" que hasta hoy sigue desempeñando sus obras aunque de una forma algo diferente.
En 1876, no lejos del lugar sagrado, se construyó una residencia para estudiantes de origen alemán interesados en los campos de la historia eclesiástica y la arqueología sagrada. En 1888 también se agregó una biblioteca de la Sociedad Goerres con 35,000 volúmenes.
En la capilla suiza dentro de la iglesia del cementerio están enterrados los guardias suizos que cayeron durante el saqueo de Roma en 1527 y está decorado con frescos por Polidoro Caldara, un discípulo de Raffaello.
Estos guardias suizos enterrados en este cementerio fue prácticamente una excepción ya que en el cementerio se encuentran tradicionalmente los restos de figuras prominentes de origen alemán y flamenco que han servido a la Iglesia y que han muerto en Roma.
En febrero de 2015, Willy, un belga sin hogar fue enterrado en el cementerio, con la ayuda financiera de una familia alemana, tras su aprobación por el Papa Francisco. La autorización del Papa de enterrar en el cementerio Teutónico a Willy rompe con una tradición de siglos, reflejando su máxima de que él quiere "una iglesia pobre, para los pobres".
El pequeño cementerio, es muy bello a la vista. Un hermoso jardín con distintos tipos de plantas y altas palmeras envuelven las tumbas dando una sensación de paz y acogimiento.
