关于机器学习:vowpal wabbit 中使用了什么样的特征提取器?

What kind of feature extractor is used in vowpal wabbit?

在 sklearn 中,当我们将句子传递给算法时,我们可以使用文本特征提取器,如 countvectorizer、tf-idf vectoriser 等......我们得到一个浮点数组。

但是当我们将输入文件传递给 vowpal wabbit 时,我们得到的是这样的:

1
2
-1 |Words The sun is blue
1 |Words The sun is yellow

vowpal wabbit 的内部实现中使用了什么?此文本如何转换?


这里有两个独立的问题:

Q1:为什么在使用 vowpal wabbit 时不能(也不应该)使用像 tf-idf 这样的转换?

A1:vowpal wabbit 不是批量学习系统,而是在线学习系统。为了计算像 tf-idf (每个文档中的词频与整个语料库)这样的度量,您需要首先查看所有数据(语料库),有时还要对数据进行多次传递。 vowpal wabbit 作为一个在线/增量学习系统,旨在解决您没有提前获得完整数据的问题。有关更多详细信息,请参阅此答案。

Q2:vowpal wabbit 如何"转换"它看到的特征?

A2:它没有。它只是将每个单词特征即时映射到其在内存中的散列位置。在线学习步骤由重复优化循环(SGD 或 BFGS)示例驱动,以最小化建模错误。您可以选择要优化的损失函数。

但是,如果您已经拥有要训练的完整数据,那么在将转换后的值提供给 vowpal wabbit 之前,没有什么可以阻止您对其进行转换(使用任何其他工具)。这是你的选择。根据特定数据,使用转换预传递可能会得到更好或更差的结果,而不是在没有初步转换的情况下使用 vowpal wabbit 本身运行多次传递(检查 vw --passes 选项)。

为了完成答案,让我们添加另一个相关问题:

Q3:我可以将预转换(例如 tf-idf)的数据与 vowpal wabbit 一起使用吗?

A3:是的,你可以。只需使用以下(转换后)表格。代替单词,使用整数作为特征 ID,因为任何特征都可以有一个可选的显式权重,所以使用 tf-idf 浮点作为权重,在典型 SVMlight 格式中的 : 分隔符之后:

1
2
-1 |  1:0.534  15:0.123  3:0.27  29:0.066  ...
1  |  3:0.1  102:0.004  24:0.0304  ...

之所以有效,是因为 vw 有一个很好的区分字符串和整数特征的特性。它不会散列看起来像整数的特征名称(除非您明确使用 --hash_all 选项)。直接使用整数特征编号,就好像它们是特征的哈希结果一样。