Danke an philipp aus dem Chat, den ich fragte und er meinte es könnte vielleicht dieser Bug sein
https://bugzilla.mozilla.org/show_bug.cgi?id=1462906
Ich habe daraufhin testweise in about:config den Wert network.http.throttle.enable auf false gesetzt, damit ist das Problem auch erst einmal weg. Man sollte den Wert aber wieder auf true setzen, wenn der Bug behoben ist. (ich weiß auch nicht, was es noch für Auswirkungen haben könnte wenn der Wert auf false umgestellt ist)