自从 AI 大模型问世以来，仿佛很少有人提及 NLP 技术这个词了。昨天休息的时候突然在想一个问题，AI 大模型已经如此强大了，还需要传统的 NLP 技术吗？
传统的 NLP 技术指：从分词（ws）、词性标注（pos）、命名实体识别（ner）、依存句法分析（dp）、语义角色标注（srl）等过程。
传统的 NLP 技术主要应用一些基于规则、统计学的机器学习模型来实现。而 AI 大模型核心是基于词嵌入技术来进行实现，相当于是一种暴力解题的方式，通过超大规模参数来达到模型涌现的能力。
二者最核心的区别在于 2 个：一个是训练所需的数据不在同一个一个数量级上，传统的 NLP 技术处理的更多的是企业内部定向任务的数据，而 AI 大模型则应用全网数据来实现；另一个则是在技术实现的抽象层次不同。
NLP 技术是直接应用人力可以理解的语言规则来实现；而 AI 大模型则是将语言规则抽象成向量，然后通过深度神经网络来进行训练，在神经网络中面对抽象后的高维向量，人力已无法理解，这也是 AI 大模型的解释性比较差的原因。
在让机器理解人类语言这件事儿上，现在看来可以划分为 2 个阶段：NLP 技术阶段、和 AI 大模型阶段，每个阶段都有其独特的技术特点和里程碑事件。以下是这两个阶段的技术演变过程的详细梳理。
一、传统 NLP 技术阶段
1. 早期方法（1950s – 1990s）
早期的 NLP 主要依赖于规则 -based 的方法和基于词典的系统。技术包括语法分析、模式匹配、关键词提取等。
2. 统计学习方法的兴起（1990s – 2000s）
统计学习方法开始应用于 NLP，如隐马尔可夫模型（HMM）和条件随机场（CRF）。这些方法能够处理序列数据，并且对标记数据的需求较少。
3. 浅层和深层学习（2000s – 2010s）
特征工程和机器学习方法（如支持向量机 SVM）在这一时期得到了广泛应用。出现了一些重要的 NLP 任务，如情感分析、命名实体识别、机器翻译等。
4. 语义角色标注和语义解析（1998 – 2000s）
FrameNet 和语义角色标注的提出，推动了浅层语义解析的发展。共享任务和评估标准（如 CoNLL）促进了核心 NLP 任务的研究。
二、AI 大模型阶段
1. 词嵌入的革命（2013 年前后）
Word2Vec 和 GloVe 等词嵌入技术的提出，使得 NLP 能够更好地捕捉词汇的语义信息。词嵌入技术的出现为后续的深度学习模型奠定了基础。
2. 神经网络的突破（2013 年 – 2014 年）
循环神经网络（RNN）、卷积神经网络（CNN）、长短期记忆网络（LSTM）开始应用于 NLP 任务。这些网络能够捕捉文本数据中的序列特征和局部依赖关系。
3. 预训练语言模型的兴起（2018 年前后）
BERT、GPT、XLNet 等预训练语言模型的出现，极大地推动了 NLP 技术的发展。这些模型通过在大规模文本数据上进行预训练，学习到了丰富的语言表示。
4. Transformer 架构的普及（2017 年 – 至今）
Transformer 架构的提出，特别是在 BERT 和 GPT 系列模型中的应用，成为了 NLP 领域的核心技术。Transformer 能够有效处理长距离依赖问题，并且支持多任务学习和迁移学习。
5. 大模型的挑战与创新（2022 年代）
大模型虽然在多个 NLP 任务上取得了显著的性能提升，但也面临着诸如可解释性、偏见、伦理和隐私等挑战。研究人员和开发者正在探索如何设计和训练更加安全、可控和可解释的大模型。
三、总结
传统的 NLP 技术是人类探索机器理解自然语言的一个过程，如果没有这个过程，那么后面的词嵌入、预训练模型、以及 AI 大模型可能就不会诞生了，正是由于传统 NLP 技术在应用层的惰性，才激发了研究人员的新思考，做出重大突破。
所以，回到文初的那个问题：AI 大模型已经如此强大了，还需要传统的 NLP 技术吗？
当然如果你是从事应用层工作的人员，个人觉得不需要再去研究传统的 NLP 技术了，直接从词嵌入阶段开始了解即可。
而如果你是偏科研方面的工作人员，则非常有必要去研究一下，传统的 NLP 技术，知其因，才能更好的解其果，这是奠定科研工作的基础。
本文由人人都是产品经理作者【长弓 PM】，微信公众号：【AI 产品经理社】，原创 / 授权 发布于人人都是产品经理，未经许可，禁止转载。
题图来自 Unsplash，基于 CC0 协议。
