什么是Tokenization？
在编程中，tokenization（词法分析）是将源代码分解成小单元的过程，这些小单元被称为“tokens”。举个简单的例子，想象一下你在看一本书，书里面有句子、单词、标点符号等等。token就是书中的每一个单独的元素。
对于PHP这种编程语言，tokenization是把代码行分解成有意义的部分。比如，当你写一段PHP代码时，PHP引擎能迅速识别出变量、运算符、函数名等这些重要的元素，这样的过程就叫tokenization。
PHP的Tokenization过程
当你在PHP代码中执行某些操作时，PHP会把代码读进内存，然后开始进行tokenization。在这一过程中，PHP会根据预定的规则把代码分解成不同的tokens。例如，下面这个简单的PHP代码：
在这段代码中，你可以看到几种不同的tokens。首先是"$number"和"$sum"这些变量，它们是由"$"符号标记出来的。接着是"="这个赋值运算符，还有" "这个加法运算符。最后，"echo"也是一个token，它用来输出结果。
为什么需要Tokenization？
Tokenization不仅是分析代码的第一步，还能帮助我们理解代码的结构。你可能会问，那为什么不直接执行代码呢？其实，直接执行代码可能会导致错误或者意外的问题。
举个例子，如果没有正确的tokenization，PHP引擎就无法正确识别出变量和运算符，导致代码运行错误。在大规模的项目中，错误可能会导致巨大的损失。所以，tokenization就显得尤为重要。
使用PHP内置函数进行Tokenization
PHP提供了一些非常实用的内置函数来处理tokenization。例如，函数 token_get_all() 可以把PHP代码转化为tokens数组。这个非常简单易用。
来看个例子，假设我们有个字符串：
$code = '