你只会用 split？试试 StringTokenizer，性能可以快 4 倍！！

Java技术栈

发布于 2021-08-12 11:14:48

1.4K0

发布于 2021-08-12 11:14:48

文章被收录于专栏：Java技术栈

我们都知道，分割字符串要使用 String 的 split() 方法，split 方法虽然深入人心，使用也简单，但效率太低！

其实在 JDK 中，还有一个性能很强的纯字符串分割工具类：StringTokenizer。

这个类在 JDK 1.0 中就推出来了，但在实际工作却发现很少有人使用，网上有人说不建议使用了，甚至还有人说已经废弃了，真的是这样吗？

StringTokenizer 被废弃了吗？

栈长翻阅了一些资料，原来在 Oracle JDK 官方文档中已经有了描述，这是最新的 Oracle JDK 15 的官方文档关于 StringTokenizer 的说明：

StringTokenizer is a legacy class that is retained for compatibility reasons although its use is discouraged in new code. It is recommended that anyone seeking this functionality use the split method of String or the java.util.regex package instead.

参考：https://docs.oracle.com/en/java/javase/15/docs/api/java.base/java/util/StringTokenizer.html

StringTokenizer 原来是一个遗留类，并未被废弃，只是出于兼容性原因而被保留，在新代码中已经不鼓励使用它了，建议使用 String 的 split 方法或 java.util.regex 包代替。

再来看 StringTokenizer 类的源码：

可以看到 StringTokenizer 类并未标识 @Deprecated，说明在后续的版本中也还可以继续使用，官方还会继续保留，并不会进行删除。

就像 JDK 集合中的 Vector 和 Hashtable 类一样，虽然它们略显笨重，但并不说明它们没有用了，另外，它们也不存在致命缺陷，所以一直保留到现在并未废除掉。

StringTokenizer 没人用了吗？

答案：非也！

栈长在最新的 Spring 5.x 框架 StringUtils 工具类中就发现了 StringTokenizer 的使用身影：

org.springframework.util.StringUtils#tokenizeToStringArray

另外，栈长还看到了一篇《Faster Input for Java》的文章，其中就介绍了他们是使用 StringTokenizer 来分割字符串的，其效率是 string.split() 的 4 倍：

We split the input line into string tokens, since one line may contain multiple values. To split the input, StringTokenizer is 4X faster than string.split().

参考：https://www.cpe.ku.ac.th/~jim/java-io.html

所以，即使 JDK 不鼓励使用它了，但它并未被废除，并且性能还这么强，在一些对性能比较敏感的系统中，或者对性能比较有要求的编程竞赛中，StringTokenizer 就能发挥重要作用。

所以，大胆用吧，StringTokenizer 还是可以用的，用的好还能出奇效！另外，往期 Java 技术系列文章我也已经整理好了，关注公众号Java技术栈，在后台回复：java，可以获取阅读，非常齐全。

StringTokenizer vs split

说了这么多，相信大部分人都只用过 split，而没用过 StringTokenizer，那么栈长今天就来对比下这两个字符串分割法的性能及利弊。

测试代码如下：

import java.util.Random;
import java.util.StringTokenizer;

/**
 * @author: 栈长
 * @from: 公众号Java技术栈
 */
public class SplitTest {

    private static final int MAX_LOOP = 10000;

    /**
     * @author: 栈长
     * @from: 公众号Java技术栈
     */
    public static void main(String[] args) {
        StringBuilder sb = new StringBuilder();
        System.out.println(sb.toString());
        for (int i = 0; i < 1000; i++) {
            sb.append(new Random().nextInt()).append(" ");
        }
        split(sb.toString());
        stringTokenizer(sb.toString());
    }

    /**
     * @author: 栈长
     * @from: 公众号Java技术栈
     */
    private static void split(String str) {
        long start = System.currentTimeMillis();
        for (int i = 0; i < MAX_LOOP; i++) {
            String[] arr = str.split(" ");
            StringBuilder sb = new StringBuilder();
            for (int j = 0; j < arr.length; j++) {
                sb.append(arr[j]);
            }
        }
        System.out.printf("split 耗时 %s ms\n", System.currentTimeMillis() - start);
    }

    /**
     * @author: 栈长
     * @from: 公众号Java技术栈
     */
    private static void stringTokenizer(String str) {
        long start = System.currentTimeMillis();
        for (int i = 0; i < MAX_LOOP; i++) {
            StringTokenizer stringTokenizer = new StringTokenizer(str, " ");
            StringBuilder sb = new StringBuilder();
            while (stringTokenizer.hasMoreTokens()) {
                sb.append(stringTokenizer.nextToken());
            }
        }
        System.out.printf("StringTokenizer 耗时 %s ms", System.currentTimeMillis() - start);
    }

}

在我本机测试结果如下：