1 | <?php |
||
17 | class Lexer |
||
18 | { |
||
19 | /** |
||
20 | * Current position. |
||
21 | * |
||
22 | * @var int |
||
23 | */ |
||
24 | private $offset = 0; |
||
25 | |||
26 | /** |
||
27 | * Token map. |
||
28 | * |
||
29 | * @var array |
||
30 | */ |
||
31 | private $tokenMap = [ |
||
32 | '/^(\s+)/' => 'T_WHITESPACE', |
||
33 | '/^([<=>]{0,2}[0-9]{4}-[0-9]{2}-[0-9]{2})/' => 'T_STRING', |
||
34 | '/^([<=>]{1,2}\w+)/u' => 'T_STRING', |
||
35 | '/^([<=>]{1,2}".+")/' => 'T_STRING', |
||
36 | '/^("(.+)")/' => 'T_STRING', |
||
37 | '/^(\S+)/u' => 'T_STRING', |
||
38 | '/^(#\d+)/' => 'T_STRING', |
||
39 | ]; |
||
40 | |||
41 | /** |
||
42 | * Default token. |
||
43 | * |
||
44 | * @var string |
||
45 | */ |
||
46 | private $defaultToken = ''; |
||
47 | |||
48 | /** |
||
49 | * Add token. |
||
50 | * |
||
51 | * @param string $regex |
||
52 | * @param string $token |
||
53 | * |
||
54 | * @return $this |
||
55 | */ |
||
56 | public function addToken($regex, $token) |
||
62 | |||
63 | /** |
||
64 | * Set default token. |
||
65 | * |
||
66 | * @param string $token |
||
67 | * |
||
68 | * @return $this |
||
69 | */ |
||
70 | public function setDefaultToken($token) |
||
76 | |||
77 | /** |
||
78 | * Tokenize input string. |
||
79 | * |
||
80 | * @param string $input |
||
81 | * |
||
82 | * @return array |
||
83 | */ |
||
84 | public function tokenize($input) |
||
102 | |||
103 | /** |
||
104 | * Find a token that match and move the offset. |
||
105 | * |
||
106 | * @param string $string |
||
107 | * |
||
108 | * @return array|bool |
||
109 | */ |
||
110 | protected function match($string) |
||
125 | |||
126 | /** |
||
127 | * Build map of tokens and matches. |
||
128 | * |
||
129 | * @param array $tokens |
||
130 | * |
||
131 | * @return array |
||
132 | */ |
||
133 | protected function map(array $tokens) |
||
160 | } |
||
161 |