compilerbau:erweiterung:start
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
Beide Seiten der vorigen RevisionVorhergehende ÜberarbeitungNächste Überarbeitung | Vorhergehende ÜberarbeitungNächste ÜberarbeitungBeide Seiten der Revision | ||
compilerbau:erweiterung:start [2021/10/28 21:12] – [Erweiterung der Grammatik] Martin Pabst | compilerbau:erweiterung:start [2021/10/28 21:29] – [Erweiterung der Klasse Knoten] Martin Pabst | ||
---|---|---|---|
Zeile 41: | Zeile 41: | ||
</ | </ | ||
+ | |||
+ | ===== Neue Tokentypen ===== | ||
+ | Für die neuen syntaktischen Elemente brauchen wir zusätzliche Tokentypen: | ||
+ | |||
+ | <code java> | ||
+ | public enum TokenType { | ||
+ | zahl, text, plus, minus, mal, geteilt, klammerAuf, klammerZu, | ||
+ | geschweifteKlammerAuf, | ||
+ | whileKeyword, | ||
+ | kleiner, groesser, identisch, kleinergleich, | ||
+ | zuweisung, | ||
+ | trueKeyword, | ||
+ | strichpunkt, | ||
+ | |||
+ | /** | ||
+ | * Nur als Knotentyp für Knoten des Syntaxbaums: | ||
+ | */ | ||
+ | negation | ||
+ | } | ||
+ | </ | ||
+ | |||
+ | ===== Erweiterung des Lexers ===== | ||
+ | Damit der Lexer die Schlüsselwörter '' | ||
+ | |||
+ | <code java> | ||
+ | /** | ||
+ | * Die Methode lexText lext Variablenbezeichner und Schlüsselwörter (keywords) | ||
+ | */ | ||
+ | private void lexText() { | ||
+ | |||
+ | String text = ""; | ||
+ | |||
+ | do { | ||
+ | char c = peek(); | ||
+ | text += c; | ||
+ | position++; | ||
+ | } while(istBuchstabe(peek()) || istZiffer(peek()) || peek() == ' | ||
+ | |||
+ | switch(text) { | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | } | ||
+ | |||
+ | } | ||
+ | </ | ||
+ | |||
+ | Etwas trickreicher sind die neuen Zeichen. Um etwa ''<'' | ||
+ | |||
+ | <code java> | ||
+ | /** | ||
+ | * peek(n) liest das Zeichen im Programmtext an (aktuelle Position + n). Die | ||
+ | * aktuelle Position (Attribut position) wird nicht verändert. | ||
+ | * | ||
+ | * @return Das Zeichen, das n Zeichen weiter steht als die aktuelle Position | ||
+ | */ | ||
+ | private char peek(int n) { | ||
+ | if(position + n < text.length()) { | ||
+ | return text.charAt(position + n); | ||
+ | } else { | ||
+ | return(char) 0; | ||
+ | } | ||
+ | } | ||
+ | </ | ||
+ | |||
+ | Damit sieht die Erkennung von ''>'', | ||
+ | |||
+ | <code java> | ||
+ | case '>' | ||
+ | if(peek(1) == ' | ||
+ | addToken(TokenType.groessergleich); | ||
+ | position++; | ||
+ | } else { | ||
+ | addToken(TokenType.groesser); | ||
+ | } | ||
+ | break; | ||
+ | case ' | ||
+ | if(peek(1) == ' | ||
+ | addToken(TokenType.ungleich); | ||
+ | position++; | ||
+ | } else { | ||
+ | println(" | ||
+ | System.exit(1); | ||
+ | } | ||
+ | break; | ||
+ | </ | ||
+ | |||
+ | |||
+ | ===== Test des Lexers ===== | ||
+ | Der Lexer lässt sich wieder mit der Klasse '' | ||
+ | < | ||
+ | text[a] zuweisung zahl[1.0] strichpunkt text[b] zuweisung zahl[2.0] strichpunkt whileKeyword klammerAuf text[a] kleiner zahl[10.0] klammerZu geschweifteKlammerAuf text[a] zuweisung text[a] plus zahl[1.0] strichpunkt text[b] zuweisung text[b] mal zahl[2.0] strichpunkt printKeyword klammerAuf text[b] klammerZu strichpunkt geschweifteKlammerZu | ||
+ | </ | ||
+ | |||
+ | |||
+ | ===== Erweiterung der Klasse Knoten ===== | ||
+ | Auch Anweisungen (Wiederholung, | ||
+ | |||
+ | <code java> | ||
+ | public class Knoten { | ||
+ | |||
+ | /** | ||
+ | * Im Token steckt der Inhalt des Knotens drin, also ein Operator, eine Zahl oder ein | ||
+ | * Variablenbezeichner. Der Einfachheit halber verwenden wir hier die Klasse Token. | ||
+ | */ | ||
+ | private Token token; | ||
+ | |||
+ | /** | ||
+ | * Kindknoten linkerhand | ||
+ | */ | ||
+ | private Knoten links; | ||
+ | |||
+ | /** | ||
+ | * Kindknoten rechterhand | ||
+ | */ | ||
+ | private Knoten rechts; | ||
+ | |||
+ | /** | ||
+ | * Im Falle einer Anweisung: nächstfolgende Anweisung | ||
+ | */ | ||
+ | private Knoten naechsteAnweisung; | ||
+ | |||
+ | |||
+ | ... | ||
+ | </ | ||
+ | |||
+ | Die Kindknoten der Anweisungen haben für verschiedene Arten von Anweisungen verschiedene Bedeutung: | ||
+ | |||
+ | **wiederholungs-Knoten: | ||
+ | * links: Aussage innerhalb der Klammer | ||
+ | * rechts: erste Anweisung innerhalb des while-Blocks (d.h. innerhalb der geschweiften Klammern) | ||
+ | * naechsteAnweisung: | ||
+ | |||
+ | **print-Knoten: | ||
+ | * links: Aussage, deren wert ausgegeben werden soll | ||
+ | * rechts: '' | ||
+ | * naechsteAnweisung: | ||
+ | |||
+ | **Zuweisungs-Knoten: | ||
+ | * links: text-Knoten, | ||
+ | * rechts: Aussage, deren Wert der Variablen zugewiesen werden soll. | ||
+ | * naechsteAnweisung: | ||
+ | |||
+ | ===== Erweiterung des Parsers ===== | ||
+ | Die Klasse Parser wird um Methoden zum Parsen von | ||
+ | * einer Aussage | ||
+ | * einer Wiederholung | ||
+ | * einer Zuweisung | ||
+ | * einer Print-Anweisung | ||
+ | * einer Anweisung (d.h. eine beliebige der drei vorhergehenden) | ||
+ | * einer Sequenz (d.h. einer beliebig langen Abfolge von Anweisungen) | ||
+ | erweitert: | ||
+ | |||
+ | <code java> | ||
+ | public class Parser { | ||
+ | ... | ||
+ | |||
+ | /** | ||
+ | * Parst die dem Konstruktor übergebene Liste von Tokens und gibt einen | ||
+ | * Parse-Baum (Abstract Syntax Tree) zurück. | ||
+ | * | ||
+ | * @return Parse-Baum (Abstract Syntax Tree) | ||
+ | * Falls die Liste der Tokens nicht der Syntax entspricht | ||
+ | */ | ||
+ | public Knoten parse() { | ||
+ | |||
+ | wurzel = sequenz(); | ||
+ | |||
+ | return wurzel; | ||
+ | |||
+ | } | ||
+ | |||
+ | /** | ||
+ | * Parst eine Reihe von Anweisungen. | ||
+ | * | ||
+ | * @return | ||
+ | */ | ||
+ | private Knoten sequenz() { | ||
+ | |||
+ | Knoten knoten = null; | ||
+ | Knoten ersteAnweisung = null; | ||
+ | |||
+ | do { | ||
+ | |||
+ | Knoten letzterKnoten = knoten; | ||
+ | |||
+ | knoten = anweisung(); | ||
+ | |||
+ | if(letzterKnoten != null) { | ||
+ | |||
+ | letzterKnoten.setNaechsteAnweisung(knoten); | ||
+ | |||
+ | if(ersteAnweisung == null) { | ||
+ | |||
+ | ersteAnweisung = letzterKnoten; | ||
+ | |||
+ | } | ||
+ | } | ||
+ | |||
+ | } while(knoten != null); | ||
+ | |||
+ | return ersteAnweisung; | ||
+ | |||
+ | } | ||
+ | |||
+ | /** | ||
+ | * Parst eine Anweisung, d.h. eine Wiederholung, | ||
+ | * eine Zuweisung. | ||
+ | * | ||
+ | * @return | ||
+ | */ | ||
+ | private Knoten anweisung() { | ||
+ | |||
+ | if(peek() == null) { | ||
+ | return null; | ||
+ | } | ||
+ | /** | ||
+ | * Eine Anweisung beginnt mit whileKeyword, | ||
+ | */ | ||
+ | switch(peek()) { | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | | ||
+ | } | ||
+ | |||
+ | } | ||
+ | |||
+ | /** | ||
+ | * Die Methode geht davon aus, dass das nächste Token vom Typ printKeyword | ||
+ | * ist. | ||
+ | * | ||
+ | * @return | ||
+ | */ | ||
+ | private Knoten parsePrint() { | ||
+ | |||
+ | Knoten knoten = new Knoten(erwarte(TokenType.printKeyword)); | ||
+ | |||
+ | erwarte(TokenType.klammerAuf); | ||
+ | |||
+ | Knoten aussage = aussage(); | ||
+ | |||
+ | erwarte(TokenType.klammerZu); | ||
+ | |||
+ | erwarte(TokenType.strichpunkt); | ||
+ | |||
+ | knoten.setLinks(aussage); | ||
+ | |||
+ | return knoten; | ||
+ | |||
+ | } | ||
+ | |||
+ | /** | ||
+ | * Die Methode geht davon aus, dass das nächste Token vom Typ whileKeyword | ||
+ | * ist. | ||
+ | * | ||
+ | * @return | ||
+ | */ | ||
+ | private Knoten wiederholung() { | ||
+ | |||
+ | Knoten knoten = new Knoten(erwarte(TokenType.whileKeyword)); | ||
+ | |||
+ | erwarte(TokenType.klammerAuf); | ||
+ | |||
+ | Knoten aussage = aussage(); | ||
+ | |||
+ | erwarte(TokenType.klammerZu); | ||
+ | |||
+ | erwarte(TokenType.geschweifteKlammerAuf); | ||
+ | |||
+ | Knoten anweisungen = sequenz(); | ||
+ | |||
+ | erwarte(TokenType.geschweifteKlammerZu); | ||
+ | |||
+ | knoten.setLinks(aussage); | ||
+ | knoten.setRechts(anweisungen); | ||
+ | |||
+ | return knoten; | ||
+ | |||
+ | } | ||
+ | |||
+ | /** | ||
+ | * Die Methode geht davon aus, dass das nächste Token vom Typ text ist. | ||
+ | * | ||
+ | * @return | ||
+ | */ | ||
+ | private Knoten zuweisung() { | ||
+ | |||
+ | Knoten linkeSeite = new Knoten(nextToken()); | ||
+ | |||
+ | Knoten knoten = new Knoten(erwarte(TokenType.zuweisung)); | ||
+ | |||
+ | Knoten rechteSeite = aussage(); | ||
+ | |||
+ | erwarte(TokenType.strichpunkt); | ||
+ | |||
+ | knoten.setLinks(linkeSeite); | ||
+ | knoten.setRechts(rechteSeite); | ||
+ | |||
+ | return knoten; | ||
+ | |||
+ | } | ||
+ | |||
+ | /** | ||
+ | * Versucht, eine Aussage im Programmtext zu parsen. Weiteres: siehe Methode | ||
+ | * SummeDifferenz. | ||
+ | * | ||
+ | * @return Geparster Teilbaum | ||
+ | */ | ||
+ | private Knoten aussage() { | ||
+ | |||
+ | Knoten linkerOperand = summeDifferenz(); | ||
+ | // | ||
+ | |||
+ | while(peek() == TokenType.identisch || peek() == TokenType.ungleich | ||
+ | || peek() == TokenType.kleiner || peek() == TokenType.groesser | ||
+ | || peek() == TokenType.kleinergleich | ||
+ | || peek() == TokenType.groessergleich) { | ||
+ | |||
+ | Token operator = nextToken(); | ||
+ | |||
+ | Knoten rechterOperand = summeDifferenz(); | ||
+ | |||
+ | Knoten neuerKnoten = new Knoten(operator, | ||
+ | | ||
+ | |||
+ | linkerOperand = neuerKnoten; | ||
+ | |||
+ | } | ||
+ | |||
+ | return linkerOperand; | ||
+ | |||
+ | } | ||
+ | |||
+ | ... | ||
+ | |||
+ | } | ||
+ | |||
+ | </ | ||
+ | |||
+ | Ansonsten muss nichts am Parser geändert werden. | ||
+ | |||
+ | ===== Test des Parsers ===== | ||
+ | Der Parser lässt sich wieder mit der Klasse '' | ||
+ | < | ||
+ | Eingabetext: | ||
+ | a = 1; | ||
+ | b = 2; | ||
+ | while(a < 10){ | ||
+ | a = a + 1; | ||
+ | b = b * 2; | ||
+ | print(b); | ||
+ | } | ||
+ | |||
+ | Tokens: | ||
+ | text[a] zuweisung zahl[1.0] strichpunkt text[b] zuweisung zahl[2.0] strichpunkt whileKeyword klammerAuf text[a] kleiner zahl[10.0] klammerZu geschweifteKlammerAuf text[a] zuweisung text[a] plus zahl[1.0] strichpunkt text[b] zuweisung text[b] mal zahl[2.0] strichpunkt printKeyword klammerAuf text[b] klammerZu strichpunkt geschweifteKlammerZu | ||
+ | |||
+ | Syntaxbaum (AST): | ||
+ | zuweisung | ||
+ | | ||
+ | | ||
+ | | ||
+ | l:text[b] | ||
+ | r:zahl[2.0] | ||
+ | n: | ||
+ | | ||
+ | l:text[a] | ||
+ | r: | ||
+ | | ||
+ | l:text[a] | ||
+ | r:plus | ||
+ | | ||
+ | | ||
+ | n:zuweisung | ||
+ | | ||
+ | r:mal | ||
+ | l:text[b] | ||
+ | r:zahl[2.0] | ||
+ | | ||
+ | l:text[b] | ||
+ | </ | ||
+ | |||
+ | Nachfolgend noch in grafischer Form. Die mit " | ||
+ | {{ : | ||
compilerbau/erweiterung/start.txt · Zuletzt geändert: 2021/12/29 11:29 von 127.0.0.1