NL: Het gebruik van LLM-prompt engineering voor het vertalen van acceptatiecriteria naar functionele eisen

Abstract

In dit onderzoek worden acceptatiecriteria die, als input, geschreven zijn in Gherkin, vertaald als output in de functionele eisen specificatie CNL (Controlled Natural Language) Rimay. De bijdrage van dit evaluatieonderzoek (Design Science Research) is een evaluatie over welke LLM-prompt technieken het beste werken voor het genereren van CNL Rimay componenten die vertaald zijn vanuit Gherkin. Hiermee wordt op academisch niveau een bijdrage geleverd aan de evaluatie van drie LLM-prompt technieken: Few-shot-learning, Chain-of-Thought en Role-Play. De evaluatie vindt plaats met precision-recall. Voor het bevragen van het LLM, is er een variabele genaamd LLM-temperatuur, waardoor het LLM creatiever antwoord kan geven. Deze variabele wordt zowel op een lage als hoge waarde per LLM-prompt techniek geëvalueerd. De structurele taal Gherkin wordt gebruikt in user stories in scrum voor het definiëren van acceptatiecriteria, waarbij een vaste structuur in natuurlijke taal wordt aangehouden. Rimay CNL is een taal die functionele eisen vastlegt in een gestandaardiseerd format. De probleemstelling van het onderzoek volgt uit de noodzaak voor het verkrijgen van overzichtelijke functionele eisen documentatie, na de oplevering van de software.

Uit de resultaten blijkt dat de LLM-prompt techniek Few-shot-learning met een lage LLM-temperatuur de beste resultaten geeft voor een vertaling van Gherkin naar Rimay. De Chain-of-thought techniek in combinatie met een hoge LLM-temperatuur gaf redelijke resultaten. De LLM-prompt techniek Role-play geeft de minst accurate resultaten en dient vooral gebruikt te worden voor creatieve teksten.

Date of Award	12 Jun 2024
Original language	Dutch
Supervisor	Lloyd Rutledge (Examiner) & Ella Roubtsova (Co-assessor)