Es hat eine Weile gedauert, bis ich endlich rausgefunden habe, wie es geht. Letztlich habe ich den entscheidenden Hinweis hier gefunden, aber der hatte sich etwas versteckt in dem Thread. Daher hier mal eine kleine Anleitung.
Vorausetzung ist die Installation der "Alexa Media Player"-Integration im HA. Dann erstellt man einfach eine Automation, die auf ein Template triggert.
Der Inhalt des Templates noch mal als kopierbare Codefolge, wobei ihr natürlich dann euren "_next_alarm"-Sensor aus der "Alexa Media Player"-Integration verwenden müsst.
{% set alarm_time = states('sensor.schlafzimmer_echo_show_next_alarm') %}
{% if alarm_time != 'none' %}
{{ as_timestamp(alarm_time) | timestamp_custom('%Y-%m-%d %H:%M') == now().strftime('%Y-%m-%d %H:%M') }}
{% else %}
false
{% endif %}
Und das war's dann auch schon. Ihr könnt noch optional ein Zeitfenster oder andere Zusatzbedingungen unter "Und wenn" einfügen, wenn ihr möchtet, dass die Automation nicht bei jedem Wecker getriggert wird.
Eine Sache, die ich leider noch nicht herausgefunden habe, ist die Möglichkeit zum Aktivieren oder Deaktivieren eines bereits in der Alexa App hinterlegten Weckers. Ich würde den Wecker nämlich gerne an Feier- und Urlaubstagen, die nicht auf ein Wochenende fallen, deaktivieren. Man könnte das zwar für die Automation unter "Und wenn" definieren, aber dann klingelt der Wecker trotzdem noch und ich möchte halt, dass er gar nicht erst klingelt.