Margarete Klose perdit son père très jeune et dut très tôt subvenir aux besoins de sa famille. C’est donc en tant que secrétaire que la jeune femme travailla jusqu’à ce qu’une collègue lui recommandât de passer une audition auprès du Conservatoire de Klindworth-Scharwenka où, acceptée, elle reçut sa formation musicale à partir de 1920.
Au bout de six années de formation, la jeune mezzo-soprano fit ses débuts sur la scène du Théâtre d’Ulm dans l’opérette Comtesse Maritza, puis plus tard, son véritable grand rôle qui la dévoila au public, celui d’Azucena dans Le Trouvère de Verdi.
Durant les trois années qui suivirent, Margarete Klose étoffa son répertoire sur les scènes d’Ulm et de Kassel, avant de rejoindre la scène nationale du Théâtre de Mannheim en 1929.
En 1931, elle fit ses débuts à l’Opéra d’État de Berlin dans le rôle d’Azucena. Wilhelm Furtwängler dirigea Elektra dans lequel elle fut acclamée en tant que Clytemnestre. Elle chanta aussi Ortrud sous Erich Kleiber et Adriano dans Rienzi avec Leo Blech. Appelée par les plus grandes scènes du monde, elle se produisit à l’Opéra d’État de Vienne, le Royal Opera House de Covent Garden à Londres, la Scala de Milan, l’Etat de Saxe Opéra de Dresde, le Théâtre National de Munich, l’Opéra d’État de Hambourg, le Teatro Colon à Buenos Aires, le Théâtre de la Monnaie à Bruxelles, les opéras de San Francisco et Los Angeles.
En 1936, elle fit ses débuts au Festival de Bayreuth où elle chanta tous les grands rôles dans tous les grands rôles de sa tessiture (Brangäne, Ortrud, Fricka, Erda ou bien encore Kundry) jusqu’à sa fermeture en 1942.
En 1961, elle fit ses adieux à la scène et commença à donner des cours de chant. Elle mourut brutalement en 1968.