R5FW-Parsert.Token ::= (s.TokType t.Pos e.TokValue)
s.TokType ~ e.TokValue ::=
TkName ~ s.CHAR*
TkCompound ~ s.CHAR*
TkMacroDigit ~ s.NUMBER
TkChar ~ s.CHAR
TkVariable ~ s.VarType e.VarName
TkOpenBracket, TkCloseBracket, TkCloseCall,
TkOpenBlock, TkCloseBlock ~ пусто
TkOpenCall ~ s.CHAR* -- имя функции
TkComma, TkColon, TkAssign, TkSemicolon ~ пусто
TkExtern, TkEntry ~ пусто
TkSpecComment ~ char*
TkEOF ~ пусто
TkError ~ s.CHAR* -- сообщение об ошибке в лексике
s.VarType ::= 's' | 't' | 'e'
Каждый токен содержит тег токена, позицию в исходном тексте и необязательный атрибут токена.
s.TokType — тег токена,t.Pos — позиция в исходном файле,e.TokValue — атрибут токена.Токены:
TkName — идентификатор (имя функции или составной символ в идентификаторной
форме), атрибут — последовательность литер.TkCompound — составной символ, записанный в двойных кавычках. Атрибут —
последовательность литер (escape-последовательности преобразованы в их
значения).TkMacroDigit — макроцифра, атрибут — её значение.TkChar — токен-литера, атрибут — литера. Если несколько токенов записаны
внутри одних кавычек, каждому из них соответствует отдельный токен TkChar.
Например, 'H20' → (TkChar t.1 'H') (TkChar t.2 '2') (TkChar t.3 'O').TkVariable переменная, атрибут — её тип (s, t или e) и её индекс.| Токен | Смысл |
|---|---|
TkOpenBracket |
( |
TkCloseBracket |
) |
TkCloseCall |
> |
TkOpenBlock |
{ |
TkCloseBlock |
} |
TkComma |
, |
TkColon |
: |
TkAssign |
= |
TkSemicolon |
; |
TkOpenCall — открывающая угловая скобка, атрибут — имя вызываемой функции.TkSpecComment — комментарий, начинающийся на *$. Атрибут — текст
комментария (включая знаки *$ в начале).TkEOF — служебный токен конца файла.TkError — служебный токен, сообщение о лексической ошибке.t.Refal5-AST ::= t.Unit*
t.Unit ::= t.Function | t.Extern | t.SpecialComment
t.Extern ::= (Extern (t.SrcPos e.Name)*)
t.SpecialComment ::= (SpecialComment t.SrcPos e.Text)
t.Function ::= (Function t.SrcPos (e.Name) s.Scope t.Sentence+)
s.Scope ::= Entry | Local
t.Sentence ::= (t.Pattern (Condition t.Result t.Pattern)* e.SentenceTail)
e.SentenceTail ::= RETURN t.Result | CALL-BLOCK t.Result t.Sentence*
t.Pattern, t.Result ::= (t.Term*)
t.Term ::=
(Symbol Word e.Chars*)
| (Symbol Number s.Number)
| (Symbol Char s.Char)
| (Variable t.SrcPos s.VarType e.Index)
| (Brackets t.Term*)
| (Call t.SrcPos (e.Function) t.Terms*)
s.VarType ::= 's' | 't' | 'e'
t.Unit — элемент верхнего уровня: функция, объявление $EXTERN или
специальный комментарий.t.Function — определение функции на Рефале.t.Extern — последовательность имён, объявленная одной директивой $EXTERN.t.SpecialComment — специальный комментарий — строка, которая начинается
с *$ и расположена вне функции.s.Scope — область видимости функции, Entry для функций, определённых
с ключевым словом $ENTRY и Local для функций без этого ключевого слова.t.Sentence — предложение функции. Состоит из образца, нуля и более условий
и окончания предложенияt.Pattern — образцовое выражение.e.SentenceTail — окончание предложения. Может быть либо простой правой
частью (RETURN), либо вызовом блока (CALL-BLOCK).t.Result — результатное выражение.t.Term — терм выражения, может быть:
Symbol Word — словом (составным символом),Symbol Number — макроцифрой,Symbol Char — литерой,Variable — переменной,Brackets — скобочным термом,Call — вызовом функции (недопустим внутри образца).s.VarType — тип переменной.Возвращает строковое (человекочитаемое) представление данного лексического домена.
<TokName s.TokType> == s.CHAR*
Лексический анализатор для Рефала-5, для указанного файла формирует последовательность токенов.
<Scan e.SourceFile> == t.Token*
t.Pos ::= (s.Line s.Col e.FileName)
Возвращает последовательность токенов для данного файла.
Позиция в исходном тексте, формируемая лексическим анализатором, содержит номер колонки, строки и имя файла.
<ScanString-FromPos t.InitPos e.String> == e.Tokens
t.InitPos ::= t.Pos
Разбивает строку на токены, начальной позицией принимается t.InitPos.
<Builtins> == (e.FunctionName)*
e.FunctionName ::= s.CHAR+
Функция возвращает имена встроенных функций, включая сокращённые имена для
арифметических операций (+, -, /, %, *, ?).
<Parse e.Tokens>
== Success e.Refal5-AST
== Fails t.Error*
t.Error ::= (t.SrcPos e.Message)
Функция Parse принимает последовательность токенов и возвращает абстрактное
синтаксическое дерево.
Если файл содержит корректный текст на Рефале, функция возвращает Success
и синтаксическое дерево. Иначе функция возвращает Fails и список ошибок.
Таким образом, возвращаемое дерево всегда соответствует корректной программе.
К позициям токенов парсер относится как к чёрному ящику, внутрь t.SrcPos
не заглядывает.
t.Error — сообщение о синтаксической или семантической ошибке.Для печати сообщений об ошибках используется функция
<R5FW-WriteParserErrors t.Error*> == пусто
Функция распечатывает сообщения об ошибках на stderr в формате
имя файла:строка:колонка:ERROR:сообщение
prefal<prefal e.FileName> == e.module | пусто
Функция имитирует функцию prefal одноимённой библиотеки:
http://www.botik.ru/pub/local/scp/refal5/bin/prefal_180216.zip
Тип возвращаемого значения можно посмотреть в документации к упомянутому архиву.
Функция prefal является обёрткой для функций Scan и Parse, описанных
выше. При обнаружении синтаксических ошибок, сообщения распечатываются
на stderr при помощи R5FW-WriteParserErrors и функция prefal возвращает
пустоту.
Оригинальная функция prefal сохраняет в синтаксическом дереве комментарии,
реализованная в этом фреймворке сохраняет только специальные комментарии
на верхнем уровне.