深度学习课程中的词向量操作实践指南

【免费下载链接】deep-learning-coursera Deep Learning Specialization by Andrew Ng on Coursera. 项目地址: https://gitcode.com/gh_mirrors/de/deep-learning-coursera

还在为理解词向量的数学原理和应用场景而苦恼吗？本文将带你深入浅出地掌握词向量操作的核心技术，从基础概念到高级应用，一文解决你的所有困惑！

读完本文，你将能够：

• ✅ 理解词向量的基本概念和数学原理
• ✅ 掌握余弦相似度计算及其在NLP中的应用
• ✅ 实现词语类比任务（如"男人:女人::领导者:?"）
• ✅ 了解词向量中的偏见问题及其消除方法
• ✅ 动手实践GloVe预训练词向量的使用

1. 词向量基础：从One-Hot到分布式表示

1.1 传统方法的局限性

在深度学习出现之前，自然语言处理（NLP）主要使用One-Hot编码来表示词语：

# One-Hot编码示例
vocabulary = ["猫", "狗", "鱼", "鸟"]
猫 = [1, 0, 0, 0]
狗 = [0, 1, 0, 0]
鱼 = [0, 0, 1, 0]
鸟 = [0, 0, 0, 1]

One-Hot编码存在明显问题：

• 维度灾难：词汇表越大，向量维度越高
• 语义缺失：所有词语之间距离相等，无法表达语义关系
• 计算效率低：稀疏矩阵占用大量内存

1.2 词向量的优势

词向量（Word Embeddings）通过低维稠密向量解决上述问题：

2. 余弦相似度：衡量词语相似度的金标准

2.1 数学原理

余弦相似度通过计算两个向量之间的夹角余弦值来衡量相似度：

$$\text{CosineSimilarity}(u, v) = \frac{u \cdot v}{\|u\|_2 \|v\|_2} = \cos(\theta)$$

其中：

• $u \cdot v$ 是向量的点积
• $\|u\|_2$ 是向量 $u$ 的L2范数
• $\theta$ 是两个向量之间的夹角

2.2 Python实现

import numpy as np

def cosine_similarity(u, v):
    """
    计算两个向量的余弦相似度
    
    参数:
    u -- 形状为(n,)的词向量
    v -- 形状为(n,)的词向量
    
    返回:
    cosine_similarity -- 余弦相似度值
    """
    # 计算点积
    dot = np.dot(u, v)
    # 计算L2范数
    norm_u = np.sqrt(np.sum(u * u))
    norm_v = np.sqrt(np.sum(v * v))
    # 计算余弦相似度
    cosine_similarity = dot / (norm_u * norm_v)
    
    return cosine_similarity

2.3 实际应用示例

# 使用预训练的GloVe词向量
words, word_to_vec_map = read_glove_vecs('data/glove.6B.50d.txt')

# 计算词语相似度
father = word_to_vec_map["father"]
mother = word_to_vec_map["mother"]
ball = word_to_vec_map["ball"]
crocodile = word_to_vec_map["crocodile"]

print("父子相似度:", cosine_similarity(father, mother))      # 约0.89
print("球鳄鱼相似度:", cosine_similarity(ball, crocodile))   # 约0.27

3. 词语类比任务：揭示语义关系

3.1 算法原理

词语类比任务解决"a is to b as c is to ?"类型的问题。数学表达式为：

$$e_b - e_a \approx e_d - e_c$$

通过寻找使 $e_b - e_a$ 和 $e_d - e_c$ 最相似的词语 $d$ 来完成任务。

3.2 实现代码

def complete_analogy(word_a, word_b, word_c, word_to_vec_map):
    """
    完成词语类比任务
    
    参数:
    word_a, word_b, word_c -- 输入的三个词语
    word_to_vec_map -- 词向量映射字典
    
    返回:
    best_word -- 最合适的类比词语
    """
    # 转换为小写
    word_a, word_b, word_c = word_a.lower(), word_b.lower(), word_c.lower()
    
    # 获取词向量
    e_a = word_to_vec_map[word_a]
    e_b = word_to_vec_map[word_b] 
    e_c = word_to_vec_map[word_c]
    
    words = word_to_vec_map.keys()
    max_cosine_sim = -100
    best_word = None
    
    # 遍历所有词语寻找最佳匹配
    for w in words:
        if w in [word_a, word_b, word_c]:
            continue
            
        cosine_sim = cosine_similarity(e_b - e_a, word_to_vec_map[w] - e_c)
        
        if cosine_sim > max_cosine_sim:
            max_cosine_sim = cosine_sim
            best_word = w
            
    return best_word

3.3 应用案例

# 测试词语类比
test_cases = [
    ('italy', 'italian', 'spain'),      # 意大利:意大利人::西班牙:西班牙人
    ('india', 'delhi', 'japan'),        # 印度:德里::日本:东京
    ('man', 'woman', 'boy'),            # 男人:女人::男孩:女孩
    ('small', 'smaller', 'large')       # 小:较小::大:较大
]

for triad in test_cases:
    result = complete_analogy(*triad, word_to_vec_map)
    print(f"{triad[0]} -> {triad[1]} :: {triad[2]} -> {result}")

4. 词向量偏见分析与消除

4.1 偏见检测

词向量可能反映训练数据中的社会偏见：

# 定义性别方向向量
g = word_to_vec_map['woman'] - word_to_vec_map['man']

# 检测名字中的性别偏见
names = ['john', 'marie', 'sophie', 'ronaldo', 'priya']
for name in names:
    similarity = cosine_similarity(word_to_vec_map[name], g)
    print(f"{name}: {similarity:.3f}")

# 检测职业中的性别偏见  
occupations = ['doctor', 'nurse', 'engineer', 'teacher', 'receptionist']
for occupation in occupations:
    similarity = cosine_similarity(word_to_vec_map[occupation], g)
    print(f"{occupation}: {similarity:.3f}")

4.2 偏见消除算法

4.2.1 中性化（Neutralization）

def neutralize(word, g, word_to_vec_map):
    """
    消除词语在特定偏见方向上的分量
    
    参数:
    word -- 要处理的词语
    g -- 偏见方向向量
    word_to_vec_map -- 词向量字典
    
    返回:
    e_debiased -- 去偏见后的词向量
    """
    e = word_to_vec_map[word]
    
    # 计算偏见分量
    e_bias_component = (np.dot(e, g) / np.sum(g * g)) * g
    
    # 消除偏见分量
    e_debiased = e - e_bias_component
    
    return e_debiased

4.2.2 均衡化（Equalization）

def equalize(pair, bias_axis, word_to_vec_map):
    """
    对性别相关词语对进行均衡化处理
    
    参数:
    pair -- 词语对，如("man", "woman")
    bias_axis -- 偏见方向向量
    word_to_vec_map -- 词向量字典
    
    返回:
    e1, e2 -- 均衡化后的词向量对
    """
    w1, w2 = pair
    e_w1, e_w2 = word_to_vec_map[w1], word_to_vec_map[w2]
    
    # 计算均值
    mu = (e_w1 + e_w2) / 2
    
    # 计算均值在偏见方向上的投影
    mu_B = (np.dot(mu, bias_axis) / np.sum(bias_axis * bias_axis)) * bias_axis
    mu_orth = mu - mu_B
    
    # 计算各个词语的偏见分量
    e_w1B = (np.dot(e_w1, bias_axis) / np.sum(bias_axis * bias_axis)) * bias_axis
    e_w2B = (np.dot(e_w2, bias_axis) / np.sum(bias_axis * bias_axis)) * bias_axis
    
    # 调整偏见分量
    corrected_e_w1B = np.sqrt(np.abs(1 - np.sum(mu_orth * mu_orth))) * (e_w1B - mu_B) / np.linalg.norm(e_w1 - mu_orth - mu_B)
    corrected_e_w2B = np.sqrt(np.abs(1 - np.sum(mu_orth * mu_orth))) * (e_w2B - mu_B) / np.linalg.norm(e_w2 - mu_orth - mu_B)
    
    # 组合得到最终结果
    e1 = corrected_e_w1B + mu_orth
    e2 = corrected_e_w2B + mu_orth
    
    return e1, e2

5. 实践指南与最佳实践

5.1 GloVe词向量使用流程

5.2 性能优化技巧

1. 内存优化：

   # 只加载需要的词语向量
   needed_words = {"cat", "dog", "man", "woman", "leader", "queen"}
   word_to_vec_map = {}
   with open('glove.6B.50d.txt', 'r', encoding='utf-8') as f:
       for line in f:
           values = line.split()
           word = values[0]
           if word in needed_words:
               vector = np.asarray(values[1:], dtype='float32')
               word_to_vec_map[word] = vector
   

2. 相似度计算优化：

   # 使用矩阵运算加速批量计算
   def batch_cosine_similarity(vectors1, vectors2):
       norms1 = np.linalg.norm(vectors1, axis=1)
       norms2 = np.linalg.norm(vectors2, axis=1)
       dot_products = np.dot(vectors1, vectors2.T)
       return dot_products / (norms1[:, None] * norms2[None, :])
   

5.3 常见问题与解决方案

问题	症状	解决方案
内存不足	加载大型词向量文件时崩溃	选择性加载所需词语
词语不存在	KeyError异常	添加OOV（Out-of-Vocabulary）处理
计算速度慢	大规模相似度计算耗时	使用矩阵运算和向量化操作
偏见严重	算法输出带有社会偏见	应用去偏见算法

6. 进阶应用场景

6.1 文本分类增强

def document_vectorizer(document, word_to_vec_map):
    """
    将文档转换为基于词向量的特征向量
    
    参数:
    document -- 分词后的文档
    word_to_vec_map -- 词向量字典
    
    返回:
    doc_vector -- 文档向量表示
    """
    vectors = []
    for word in document:
        if word in word_to_vec_map:
            vectors.append(word_to_vec_map[word])
    
    if vectors:
        return np.mean(vectors, axis=0)
    else:
        return np.zeros_like(next(iter(word_to_vec_map.values())))

6.2 语义搜索系统

class SemanticSearch:
    def __init__(self, word_to_vec_map):
        self.word_to_vec_map = word_to_vec_map
        self.doc_vectors = {}
    
    def add_document(self, doc_id, text):
        tokens = text.lower().split()
        self.doc_vectors[doc_id] = document_vectorizer(tokens, self.word_to_vec_map)
    
    def search(self, query, top_k=5):
        query_vec = document_vectorizer(query.lower().split(), self.word_to_vec_map)
        similarities = {}
        
        for doc_id, doc_vec in self.doc_vectors.items():
            similarities[doc_id] = cosine_similarity(query_vec, doc_vec)
        
        return sorted(similarities.items(), key=lambda x: x[1], reverse=True)[:top_k]

7. 总结与展望

通过本指南，你已经掌握了词向量操作的核心技术：从基本的余弦相似度计算，到复杂的词语类比任务，再到前沿的偏见消除算法。这些技能为你在自然语言处理领域的深入学习奠定了坚实基础。

关键收获回顾：

1. 理论基础：理解了词向量从One-Hot到分布式表示的发展历程
2. 核心算法：掌握了余弦相似度计算和词语类比任务的数学原理
3. 实践技能：学会了使用预训练GloVe词向量解决实际问题
4. 伦理意识：认识了算法偏见问题并学会了相应的消除技术

下一步学习建议：

• 探索更先进的词向量模型如Word2Vec、FastText、BERT
• 学习如何在自己的数据集上训练定制化的词向量
• 深入研究词向量在多模态学习中的应用
• 关注词向量模型的可解释性和公平性研究

词向量技术仍在快速发展，保持学习和实践的态度，你将在自然语言处理的海洋中航行得更远！

【免费下载链接】deep-learning-coursera Deep Learning Specialization by Andrew Ng on Coursera. 项目地址: https://gitcode.com/gh_mirrors/de/deep-learning-coursera