Also es hat mir keine Ruhe gelassen und ich habe mal testweise auf einem virtuellen System Winamp vollständig mit allem Mist installiert, dann wieder komplett deinstalliert und schließlich wieder maximal sparsam installiert und siehe da:
Das gleiche Verhalten wie oben beschrieben, die FF-Verknüpfung ist wieder da.
Es liegt also daran, dass ich wohl einmal versehentlich beim Installieren die ungewollten Funktionen aktiviert habe und danach kriegt man diese Winampverknüpfung nicht mehr weg. Da wird wohl was nicht mit deinstalliert.