深度学习（五）：NLP文本生成任务——对对联，根据上联，对下联

NLP文本生成任务

文本生成的场景：看图说话、写摘要。。。
在这里插入图片描述

Seq2seq&Attention机制

在这里插入图片描述
Attention本质是权重，在翻译句子时候，汇集于前面单词不同的关注度。
在这里插入图片描述

数据处理流程

其中Lookup-Table中：Word2Vector、ElMO、Glove等来训练词向量。 预训练好的Embedding。
在这里插入图片描述

LSTM——循环神经网络

在这里插入图片描述
在这里插入图片描述

注意力机制（Attention）

目的：学到的权重。
在这里插入图片描述
在这里插入图片描述

实战：对对联

在这里插入图片描述

总结

Logo
九章云极普惠算力

更多推荐

终极指南：如何将Instant Meshes无缝集成到现有3D管线中

Instant Meshes是一款强大的交互式场对齐网格生成器，能够快速将复杂3D模型转换为结构化四边形网格。本文将为您提供完整的集成指南，帮助您将这个高效工具融入现有的3D工作流程。🚀## 什么是Instant Meshes？Instant Meshes是一个开源的网格重拓扑工具，专门用于将任意三角形网格转换为高质量的四边形网格。它采用先进的场对齐算法，能够保持模型的几何特征，同时显著

avatar 九章云极普惠算力

混合精度训练革命：happy-llm如何用16位浮点数实现效率与精度双赢

在大语言模型训练领域，混合精度训练已经成为提升训练效率的关键技术。通过巧妙结合16位和32位浮点数，happy-llm项目展示了如何在保证模型精度的同时，显著降低显存占用并加速训练过程。## 什么是混合精度训练？混合精度训练是一种结合不同精度浮点数进行深度学习训练的技术。它主要使用16位浮点数（FP16或BF16）进行前向传播和反向传播，同时保留32位浮点数用于关键的权重更新操作。[!

avatar 九章云极普惠算力

BEAM数据结构和引用机制详解：构建高性能Erlang应用

想要构建高并发、高可用的分布式应用？Erlang的BEAM虚拟机正是为此而生！本文将深入解析BEAM的核心数据结构和引用机制，帮助您理解如何构建高性能的Erlang应用。BEAM虚拟机通过独特的内存管理策略和进程模型，为现代分布式系统提供了强大的基础架构支持。## BEAM内存架构概览BEAM虚拟机的内存系统采用了分层的设计理念，每个Erlang进程都拥有独立的堆栈结构。这种设计确保了进程

avatar 九章云极普惠算力