1. 项目概述：文本表示与词向量在大模型中的核心地位

第一次接触词向量是在2016年处理一个电商评论分类项目时。当时用TF-IDF做特征工程，准确率卡在82%死活上不去。后来尝试了Word2Vec，效果直接提升了7个百分点——这个性能跃迁让我深刻认识到，文本表示的质量直接决定NLP任务的天花板。

文本表示(Text Representation)本质上是将人类语言转化为机器可理解的数学形式。早期的独热编码(One-hot)简单粗暴，每个词都是维度等于词表大小的稀疏向量。"苹果"可能是[0,0,1,0,...,0]，而"香蕉"是[0,1,0,0,...,0]。这种表示有两个致命缺陷：维度灾难（词表动辄上万维）和语义缺失（无法体现"苹果"和"香蕉"都是水果的关系）。

词向量(Word Embedding)的突破在于将词语映射到低维稠密空间（通常50-300维），且语义相似的词距离相近。2013年Mikolov提出的Word2Vec通过预测上下文词（CBOW）或根据中心词预测上下文（Skip-gram），让模型自动学习这种分布式表示。例如：

# gensim训练示例 from gensim.models import Word2Vec sentences = [["cat", "say", "meow"], ["dog", "say", "woof"]] model = Word2Vec(sentences, vector_size=100, window=5, min_count=1) print(model.wv["cat"]) # 输出100维向量

在大模型时代，词向量技术演进为更复杂的嵌入层。以GPT-3为例，其输入嵌入包含：

1. Token Embedding：将单词/子词映射为768维或12288维向量
2. Positional Embedding：标记词语位置信息
3. Segment Embedding：区分不同句子（对BERT重要）

关键认知：现代大模型的词向量不再是静态的（如Word2Vec训练完固定），而是动态的——在预训练和微调过程中持续调整，这就是为什么BERT等模型能实现"一词多义"表示。

2. 核心算法原理深度拆解

2.1 从Word2Vec到GloVe：静态词向量的进化

Word2Vec的Skip-gram目标函数是最大化给定中心词时上下文词出现的条件概率：

J(θ) = Σ log P(w_t+j | w_t)

其中概率通过softmax计算：

P(o|c) = exp(u_o^T v_c) / Σ exp(u_w^T v_c)

这里的v_c和u_o分别是中心词和上下文词的向量表示。

但softmax计算成本高昂（尤其词表大时），因此采用负采样(Negative Sampling)优化——将问题转化为二分类（真实上下文词 vs 随机采样的噪声词）。代码实现中，gensim默认使用5个负样本：

model = Word2Vec(..., negative=5)

GloVe(Global Vectors)在2014年提出，通过统计全局词共现矩阵X（X_ij表示词i和j共同出现的次数），优化以下目标：

J = Σ f(X_ij)(w_i^T w_j + b_i + b_j - log X_ij)^2

f(x)是加权函数，对高频词进行截断。GloVe的优势在于更好地利用全局统计信息，特别在词类比任务（如"国王-男人+女人≈女王"）上表现优异。

2.2 上下文相关的动态表示：ELMo与BERT

2018年ELMo(Embeddings from Language Models)引入双向LSTM生成上下文相关表示。同一个词在不同句子中会有不同向量，例如：

• "苹果手机" vs "吃苹果"中的"苹果"
• ELMo通过拼接前向和后向LSTM的隐藏层实现这一点

BERT(Bidirectional Encoder Representations from Transformers)则彻底革新了范式：

1. 输入表示 = Token嵌入 + 位置嵌入 + 段落嵌入
2. 通过Masked Language Model(MLM)任务学习：随机遮盖15%的token，预测原词
3. 下一句预测(NSP)任务学习句子间关系

一个BERT-base的嵌入层示例：

from transformers import BertModel model = BertModel.from_pretrained("bert-base-uncased") inputs = tokenizer("Hello world!", return_tensors="pt") outputs = model(**inputs) last_hidden_states = outputs.last_hidden_state # [1, 3, 768]

2.3 大模型中的位置编码创新

Transformer架构抛弃了RNN的循环结构，必须显式注入位置信息。原始Transformer使用正弦位置编码：

PE(pos,2i) = sin(pos/10000^(2i/d_model)) PE(pos,2i+1) = cos(pos/10000^(2i/d_model))

其中pos是位置，i是维度索引。这种固定编码的优点是能处理比训练时更长的序列。

现代大模型多采用可学习的位置嵌入（如GPT系列），虽然牺牲了长度外推性，但训练效率更高。RoPE(Rotary Position Embedding)则通过旋转矩阵实现位置感知，被LLaMA、ChatGLM等模型采用：

f(q, m) = (W_q x_m) e^(imθ) f(k, n) = (W_k x_n) e^(inθ)

其中θ是预设的旋转角度。

3. 工程实践：从零训练词向量

3.1 数据准备与预处理

训练优质词向量需要：

1. 大规模语料（建议至少1GB原始文本）
2. 细致的预处理流程：
   • 文本清洗（去HTML、特殊符号）
   • 分词（英文用空格，中文需分词器）
   • 大小写统一（视任务而定）
   • 去除停用词（可选）

中文分词示例使用jieba：

import jieba text = "自然语言处理很有趣" words = jieba.lcut(text) # ['自然语言', '处理', '很', '有趣']

重要经验：保留足够多的低频词（调整min_count参数），否则专业术语（如"残差连接"）会被过滤，影响下游任务。

3.2 模型训练与调优

使用gensim训练Word2Vec的关键参数：

model = Word2Vec( sentences, vector_size=300, window=8, # 上下文窗口 min_count=5, # 词频阈值 workers=4, # 并行线程 sg=1, # 1=Skip-gram, 0=CBOW hs=0, # 0=负采样 negative=10, # 负样本数 epochs=10 )

参数选择经验：

• 小数据集（<100MB）用CBOW，大数据集用Skip-gram
• 维度通常选256-512，太高可能过拟合
• 窗口大小：通用领域5-10，专业领域可更大
• 负采样：5-20，小数据集取小值

3.3 评估与可视化

常用评估方法：

1. 内在评估：词类比任务（如"中国-北京+法国≈巴黎"）

   model.wv.most_similar(positive=['中国', '巴黎'], negative=['北京'], topn=1)

2. 外在评估：在下游任务（如文本分类）测试效果

可视化使用t-SNE降维：

from sklearn.manifold import TSNE import matplotlib.pyplot as plt words = ["国王", "王后", "男人", "女人", "巴黎", "法国"] vectors = [model.wv[w] for w in words] tsne = TSNE(n_components=2) result = tsne.fit_transform(vectors) plt.scatter(result[:,0], result[:,1]) for i, word in enumerate(words): plt.annotate(word, xy=(result[i,0], result[i,1])) plt.show()

4. 大模型时代的词向量应用

4.1 预训练模型中的嵌入层

以GPT-3为例，其嵌入层特点：

1. 使用BPE(Byte Pair Encoding)子词分词，词表大小50257
2. 位置编码可学习，最大支持2048个token
3. 隐藏层维度12288，是BERT-base的16倍

微调时常见的嵌入层调整策略：

• 冻结嵌入层：数据少时防止过拟合
• 调整嵌入维度：用投影层适配不同尺寸
• 混合静态词向量：缓解低资源场景数据稀疏

4.2 词向量蒸馏技术

将大模型的嵌入知识迁移到小模型的方法：

1. 使用大模型输出作为软标签：

   teacher_output = bert_model(input_ids) student_loss = MSE(student_emb, teacher_emb)

2. 对比学习目标：

   # 正样本：同义词，负样本：随机词 loss = max(0, margin - sim(q, p) + sim(q, n))

3. 量化压缩：将FP32嵌入转为INT8，体积减少75%

4.3 多语言与跨模态扩展

先进词向量技术已突破单语种限制：

• LASER：将109种语言映射到共享嵌入空间
• mBERT：支持104种语言的联合表示
• CLIP：实现文本-图像跨模态对齐（图像编码器+文本编码器）

跨模态检索示例：

import clip model, preprocess = clip.load("ViT-B/32") text_features = model.encode_text(clip.tokenize(["a dog"])) image_features = model.encode_image(preprocess(Image.open("dog.jpg"))) similarity = text_features @ image_features.T

5. 常见问题与解决方案

5.1 词向量质量诊断

5.2 大模型嵌入层优化

实际部署时的经验技巧：

1. 嵌入表压缩：通过乘积量化(PQ)将矩阵分解为子空间

   # 使用faiss库 index = faiss.IndexPQ(d, M, 8) index.train(embeddings) index.add(embeddings)

2. 内存优化：使用Hugging Face的accelerate库实现分片嵌入
3. 稀疏化处理：对低频词使用LoRA等适配器技术

5.3 领域自适应技巧

将通用词向量适配到专业领域的方法：

1. 继续预训练：在领域语料上额外训练几轮

   model.build_vocab(domain_text, update=True) model.train(domain_text, total_examples=len(domain_text), epochs=5)

2. 联合训练：混合通用和领域语料
3. 元学习：使用MAML等算法快速适应新领域

在医疗领域实测中，经过继续预训练的词向量在临床实体识别任务上的F1值提升了12.3%。具体步骤是：先加载PubMed预训练模型，然后用医院电子病历继续训练，学习率设为初始值的1/5。