Für unseren Kunden in Nürnberg sind wir aktuell auf der Suche nach einem Quality- und Testmanager (m/w/d) (Full Stack / KI-Systeme).

Falls Sie die folgende Projektbeschreibung interessiert und Sie die Anforderungen ausreichend abdecken, bitten wir Sie um kurzfristige Rückmeldung unter Angabe Ihrer Kontaktdaten, Ihrer Konditionen für den genannten Einsatzort (Stunden- oder Tagessatz) sowie Ihres Profils (vorzugsweise in Word).

Projektstandort: Nürnberg (10% on-site/ 90% remote)

Dauer: 01.11.2025 - 31.07.2026

Volumen: 1200 Projektstunden

Abgabefrist beim Kunden: 20.10.2025

Kurzbeschreibung Projekt:

Die Bedarfsanforderung erfolgt im Rahmen des Projektes INNUPOB – dem integrierten Nutzerreisenportal für Berufseinsteigende.

Ab 1. September 2025 wurde in einem ersten Schritt ein neuer Portalbereich implementiert als zentrale Anlaufstelle für alle Informationen rund um die Berufswahl. Der Ausbau dessen bis 31.07.2026 mit innovativen Funktionalitäten ist nun Gegenstand dieser Ausschreibung.

Kernbestandteile der Ausbaustufe sind:

• Ausbau des Webangebotes meinBERUF mit attraktiven und personalisierten Inhalten

• Ein niedrigschwelliges Einsteigertool zur Reflektion von Stärken und Interessen den jungen Menschen

• Ein Smart-Coach als Informations- und Navigationssystem im Berufswahlprozess

  • mit einem GenAI-Chat zu allen Fragen der Berufswahl, der individualisierte Antworten und kontextgestützte Unterstützung liefert,

  • einem interaktiven Berufswahlfahrplan als Schritt-für-Schritt-Anleitung, die auf Basis eines Kontextmodells den individuellen Entscheidungsprozess strukturiert und begleitet,

  • einer Fortschrittsanzeige, die den aktuellen Stand im Berufswahlfahrplan sichtbar macht, Motivation fördert und als Gesprächsgrundlage z. B. für Beratungsgespräche genutzt werden kann,

  • einer übergreifende Stellensuche, die Suchprozesse vereinfacht und Ergebnisse aus Ausbildung, Studium und Praktika vergleichbar macht sowie

  • einer Kontextsicherung, die es Nutzer:innen erlaubt, ihre Reise jederzeit wiederaufzunehmen – auch ohne Anmeldung – und den nahtlosen Übergang in den personalisierten Bereich ermöglicht.

Aufgaben:

Monitoring

• Performance- und E2E-Monitoring, Auswertung von Antwortzeiten, Tracing

• Alerting über die gegebene Infrastruktur

• Erstellung von technischen und fachlichen Dashboards zur Überwachung aus Auswertung

• Konzeption und Umsetzung von Logging-/ Audit-Mechanismen

• Sicherstellung kontrollierter KI-Ausgaben und Nachverfolgbarkeit

QS-Management und Testkonzepte

• Konzeption, Dokumentation und Durchführung von Maßnahmen zur Sicherstellung hoher Qualität über den gesamten Lebenszyklus

• Dokumentation der etablierten Prozesse, Maßnahmen, Werkzeuge und Artefakte zur Qualitätssicherung (z.B. Testkonzept, Testhandbuch)

• Unterstützung bei der kontinuierlichen Qualitätssicherung im CI/CD-Prozess (z.B. automatische Smoke-Tests, Nightly Builds)

• Erstellung von Berichten und Analysen zur Entscheidungsunterstützung

• Konzeption und Umsetzung von Logging- und Audit-Mechanismen

Anforderungsbezogene QS / Testdatengenerierung

• Unterstützung bei der funktionalen und technischen Anforderungsspezifikation, -dokumentation und Validierung

• Konzeption und Erstellung von Testdaten (Gold-Standard) zur Definition und Verifikation von Qualitätsstandards der Konversation

• Unterstützung beim Aufbau redaktioneller Qualitätssicherung (Tonalität, Verständlichkeit, Nutzungsadäquanz)

Konzeption, Umsetzung und Durchführung von Tests

• Unterstützung bei der Umsetzung von Komponententest (Modul- und Unit-Tests in React, Java, Python)

• Unterstützung bei der Umsetzung von Schnittstellentests (PACT, OpenAPI)

• Konzeption und Umsetzung von Integrationstests

• Konzeption und Umsetzung automatisierter End-to-End-Tests (Catchpoint)

• Konzeption und Umsetzung automatisierter Oberflächentests

• Konzeption, Dokumentation und Durchführung risikobasierter Tests

KI-spezifische QS

• Konzeption und Umsetzung ML- und LLM-spezifischer Tests (z.B. Prompt-Stabilität, Regression, Antwortverhalten)

• GenAI-Pentesting, Vermeidung von Prompt-Injection

• Simulation und Validierung dialogischer Kontexte (z.B. Übergänge regelbasiert/generativ)

• Analyse und Bewertung generativer Antworten (z.B. Relevanz, Konformität)

• Validierung und Nachverfolgbarkeit von KI-Ausgaben inkl. Logging und Audit-Trails

Usability, Barrierefreiheit und Performanz

• Konzeption, Durchführung und Evaluation von Usability-Tests mit Zielgruppe(n)

• Vorbereitung und Begleitung von Usability- und Accessibility-Tests (BITV 2.0)

• Konzeption, Vorbereitung und Begleitung von Last- und Performance-Tests

• Konzeption und Umsetzung technischer und fachlicher Reporting-Dashboards sowie Alerting (z.B. Grafana, Loki)

Übergabe in den Linienbetrieb

• Vollständige Dokumentation aller Artefakte und Ergebnisse

• Qualitätssicherung der technischen und fachlichen Lieferartefakte

• Aufbau und Übergabe von Betriebs- und Wartungskonzepten inkl. Störfallmanagement und Eskalationswegen

• Durchführung von Workshops, Schulungen und Übergabegesprächen mit dem Linienbetriebsteam

• Übergabe von CI/CD-Pipelines und Deployment-Skripten, sowie Monitoring- und Logging-Strukturen an die Betriebsverantwortlichen

• Erstellung eines Übergabeberichts mit Handlungsempfehlungen und Dokumentation offener Punkte

• Detaillierte Spezifikation die zur Ausschreibung/Beschaffung von betrieblichen Leistungen geeignet sind

Anforderungen:

Muss-Kriterien:

- Nachweisliche Erfahrung im Test von KI-Anwendungen

- Gute Kenntnisse in ISO 25010

- Kenntnisse in Testautomatisierung und Konzeption von Testautomatisierung

- Sehr gute Erfahrung mit NFR Reviews

- Additiv die gängigen Voraussetzungen eines Testmanagers

Für Fragen, Anregungen oder Wünsche stehen wir Ihnen gern zur Verfügung.