MatsLindh
2020-12-05 04:05:19
你可以使用碎片过滤器将多个令牌合并为一个。
<analyzer type="query">
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
<filter class="solr.HyphenatedWordsFilterFactory"/>
<filter class="solr.EnglishMinimalStemFilterFactory"/>
<filter class="solr.StopFilterFactory" ignoreCase="true" words="lang/stopwords_en.txt"/>
<filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
<filter class="solr.WordDelimiterGraphFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" preserveOriginal="1"/>
<filter class="solr.LowerCaseFilterFactory"/>
<filter class="solr.ShingleFilterFactory"/>
</analyzer>
如果你假设这些词在被索引时拼写正确，则只能在查询时应用。它将为你串联令牌，有效地为你提供多个“合并的”令牌：
play station camera => play, station, camera, playstation, stationcamera
..给出maxShingleSize=2。如果你将最大大小增加到3，这也将为你playstationcamera提供单个令牌（在这种情况下）。如果你有一些术语，人们可能会多次拆分一个单词，那么这可能是必要的。
如果你假设你的术语已正确索引，并且仅在查询时需要这样做，则索引不会更改，也不必重新索引（大小不会更改）。
你可能需要更改过滤器的位置。你的词干过滤器会在神秘的地方打破这种局面，因为你最终会串联以前的词干。
热门帖子
热门github
1
2
3
5
6
7
8
11
13
14
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
谢谢你的帮助！这是我到目前为止尝试过的最有效的方法，还需要进行一些微调，才能解决我的问题。