这是我关于NLP的Python系列文章中的第20条。 在过去的几篇文章中，我们一直在探索深度学习技术以执行各种机器学习任务，并且您还应该熟悉单词嵌入的概念。 单词嵌入是一种将文本信息转换为数字形式的方法，而该形式又可以用作统计算法的输入。 在关于词嵌入的文章中，我解释了如何创建自己的词嵌入以及如何使用内置词嵌入(例如GloVe)。

在本文中，我们将研究FastText，它是用于单词嵌入和文本分类的另一个极其有用的模块。 FastText由Facebook开发，并在许多NLP问题(例如语义相似性检测和文本分类)上显示出优异的结果。

在本文中，我们将简要探讨FastText库。 本文分为两个部分。 在第一部分中，我们将看到FastText库如何创建向量表示形式，该向量表示形式可用于查找单词之间的语义相似性。 在第二部分中，我们将看到FastText库在文本分类中的应用。

语义相似的FastText

FastText支持连续词袋和Skip-Gram模型。 在本文中，我们将实现跳跃语法模型，以从Wikipedia上有关人工智能，机器学习，深度学习和神经网络的文章中学习单词的矢量表示。 由于这些主题非常相似，因此我们选择这些主题以拥有大量数据来创建语料库。 您可以根据需要添加更多类似性质的主题。

第一步，我们需要导入所需的库。 我们将使用Python的Wikipedia库，可以通过以下命令下载该库：

导入库

以下脚本将所需的库导入我们的应用程序：

您可以看到我们正在使用gensim.models.fasttext库中的FastText模块。 对于单词表示和语义相似性，我们可以将Gensim模型用于FastText。 该模型可以在Windows上运行，但是，对于文本分类，我们将不得不使用Linux平台。 我们将在下一节中看到。

刮维基百科文章

在这一步中，我们将抓取所需的Wikipedia文章。 看下面的脚本：

要抓取Wikipedia页面，可以使用wikipedia模块中的page方法。 您要剪贴的页面名称作为参数传递给page方法。 该方法返回WikipediaPage对象，然后您可以使用该对象通过content属性检索页面内容，如上面的脚本所示。

然后使用sent_tokenize方法将来自四个Wikipedia页面的抓取的内容标记为句子。 sent_tokenize方法返回句子列表。 四个页面的句子分别标记。 最后，来自四篇文章的句子通过extend方法连接在一起。

数据预处理

下一步是通过删除标点符号和数字来清除文本数据。 我们还将数据转换为小写。 我们数据中的单词将被词根化为它们的根形式。 此外，停用词和长度小于4的词将从语料库中删除。

preprocess_text函数(如下定义)执行预处理任务。

让我们看看我们的函数是否通过预处理一个伪句子来执行所需的任务：

预处理后的句子如下所示：

您会看到标点符号和停用词已被删除，句子已被复词。 此外，长度小于4的单词(例如"时代")也已删除。 这些选择是为此测试随机选择的，因此您可以允许语料库中长度较小或较大的单词。

创建单词表示

我们已经对语料库进行了预处理。 现在是时候使用FastText创建单词表示形式了。 首先让我们为FastText模型定义超参数：

这里的embedding_size是嵌入向量的大小。 换句话说，我们语料库中的每个单词将被表示为一个60维向量。 window_size是出现在单词之前和之后的单词数量的大小，将基于该单词学习单词的单词表示形式。 这听起来有些棘手，但是在跳过语法模型中，我们向算法输入了一个单词，而输出是上下文单词。 如果窗口大小为40，则每个输入将有80个输出：40个单词出现在输入单词之前，40个单词出现在输入单词之后。 使用这80个输出单词可以学习输入单词的单词嵌入。

下一个超参数是min_word，它指定语料库中单词生成的最小频率。 最后，最常见的单词将由down_sampling属性指定的数字进行下采样。

现在让我们创建用于单词表示的FastText模型。

上面脚本中的所有参数都是不言自明的，除了sg。 sg参数定义我们要创建的模型的类型。 值为1表示我们要创建跳跃语法模型。 零指定单词袋模型，这也是默认值。

执行上面的脚本。 运行可能需要一些时间。 在我的机器上，上述代码运行的时间统计信息如下：

现在，让我们看一下"人工"一词的表示形式。 为此，可以使用FastText对象的wv方法并将其传递给列表中单词的名称。

这是输出：

在上面的输出中，您可以看到单词" artificial"的60维矢量

现在，让我们找到"人造"，"智能"，"机器"，"网络"，"经常出现"，"深度"这五个最相似的词。 您可以选择任意数量的单词。 以下脚本将打印指定的单词以及5个最相似的单词。

输出如下：

我们还可以找到任意两个单词的向量之间的余弦相似度，如下所示：

输出显示值为" 0.7481"。 该值可以在0到1之间。更高的值表示更高的相似度。

可视化单词相似性

尽管模型中的每个单词都表示为60维向量，但是我们可以使用主成分分析技术来找到两个主成分。 然后可以使用两个主要成分在二维空间中绘制单词。 但是，首先我们需要创建semantically_similar_words词典中所有单词的列表。 以下脚本可以完成该任务：

在上面的脚本中，我们迭代semantically_similar_words字典中的所有键值对。 字典中的每个键都是一个单词。 相应的值是所有语义相似的单词的列表。 由于我们在"人工"，"智能"，"机器"，"网络"，"经常性"，"深度"等6个词的列表中找到了前5个最相似的词，因此您会发现其中有30个词 all_similar_words列表。

接下来，我们必须找到所有这30个单词的单词向量，然后使用PCA将单词向量的维数从60减小到2。然后可以使用plt方法，这是在二维向量空间上绘制单词的方法。

执行以下脚本以可视化单词：

上面脚本的输出如下所示：

现在我们知道了如何使用FastText创建单词嵌入。 在下一节中，我们将看到如何将FastText用于文本分类任务。

用于文本分类的FastText

文本分类是指根据文本的内容将文本数据分类为预定义的类别。 情绪分析，垃圾邮件检测和标签检测是一些用于文本分类的用例的最常见示例。

FastText文本分类模块只能通过Linux或OSX运行。 如果您是Windows用户，则可以使用Google Colaboratory运行FastText文本分类模块。 本节中的所有脚本均已使用Google Colaboratory运行。

数据集

可以从此Kaggle链接下载本文的数据集。 数据集包含多个文件，但是我们仅对yelp_review.csv文件感兴趣。 该文件包含有关餐馆，酒吧，牙医，医生，美容院等不同业务的520万条评论。但是，由于内存限制，我们将仅使用前50,000条记录来训练我们的模型。 如果需要，可以尝试更多记录。

让我们导入所需的库并加载数据集：

在上面的脚本中，我们使用pd.read_csv函数加载包含50,000条评论的yelp_review_short.csv文件。

通过将评论的数值转换为分类数值，可以简化我们的问题。 这将通过在数据集中添加新列reviews_score来完成。 如果用户评论的Stars列中的值介于1-2之间(以1-5的等级对企业进行评分)，则reviews_score列中的字符串值将为negative。 如果Stars列中的额定值介于3-5之间，则reviews_score列将包含值positive。 这使我们的问题成为二进制分类问题。

最后，数据帧的标题如下所示：