C# 撒列实现关键字过滤的实例_c#

一直对搜索、过滤很好奇，觉得他们很有技术含量，只有非常nb的人才能做。很想知道他们的原理，实现这样的功能，设计是不是必须得非常nb非常奇特，代码是不是要写得非常好，性能非常高。总之这一切都不是我这样级别的人能做的。直到我看了《编程珠玑(第二版)》中的这么一段文字：

“假定我们可以在执行搜索之前对文本内容进行预处理，那么我们可以建立一个撒列表（或者搜索树），为文档中的每个不同的单词建立索引，并为每个单词的每次出现存储一个链表，这样的逆向索引使得程序可以很快的找到给定的单词，为了查找短语，我们可以对其中包含的每个单词的链表进行交叉，但实现起来比较复杂，速度可能会很慢。（不过一些网页搜索引擎用的就是这样的方法）”

思路就这么简单，我靠！连有的搜索引擎也用这种思路。这种撒列的方式处理关键字过滤速度的确是蛮快，10000个字组织成一个撒列表也就几毫秒，只要你预分配的内存较好，基本上没什么操作，就是向内存中填数据。在撒列表中判断一个键是否存在的时间复杂度为o(1),其实还可以自己重写dictionary<tkey, tvalue>，关键字过滤的效率可能会更好点。

实现的思路比较简单：

1：处理关键字，生成一个关键字字典表

2：处理要过滤的文本，同样生成一个字典表

3：将文本，两个字典表三者进行比对

现在来测试下面一段文字（我上篇博客中的一段文字）：

"看云风博客关于解决12306并发问题的启发：我现在做骏卡接口，可能出现并发问题，就是一个订单可能向我们的接口发送多个请求，而我现在做的方法是去数据库中对应的表验证，看订单是否存在，如果存在就提示一下，如果不存在按流程走，但是这个样每来一个订单我都需要去数据库查，如果我在内存中维护一个订单集合，这样就能很快解决判断订单是否存在的问题，惯性思维太严重了，什么都去数据库查，这样的性能是最差的，其实很多问题在内存中就可以搞定的，最近还有一个特别感受，不要做井底之蛙，多看牛人的东西收获真的比自己埋头写代码进步快很多，其实很多时候我写的程序性能差，效率低都是因为方法的原因，没有找到好的方法，没有灵光一闪的感觉，用了最烂的方法解决问题"

测试代码：

复制代码代码如下:

class program
    {
        static void main(string[] args)
        {
            string keys = "云风博客|并发问题|最烂的方法|内存|集合|数据库|性能";

            using (new operationtimer("keywords:"))
            {
                wordsearch ws = new wordsearch(keys);
                string str = "看云风博客关于解决12306并发问题的启发：我现在做骏卡接口，可能出现并发问题，就是一个订单可能向我们的接口发送多个请求，而我现在做的方法是去数据库中对应的表验证，看订单是否存在，如果存在就提示一下，如果不存在按流程走，但是这个样每来一个订单我都需要去数据库查，如果我在内存中维护一个订单集合，这样就能很快解决判断订单是否存在的问题，惯性思维太严重了，什么都去数据库查，这样的性能是最差的，其实很多问题在内存中就可以搞定的，最近还有一个特别感受，不要做井底之蛙，多看牛人的东西收获真的比自己埋头写代码进步快很多，其实很多时候我写的程序性能差，效率低都是因为方法的原因，没有找到好的方法，没有灵光一闪的感觉，用了最烂的方法解决问题";
                consolecolor color = console.foregroundcolor;
                console.foregroundcolor = consolecolor.red;
                console.writeline("原文：");
                console.foregroundcolor = color;
                console.writeline(str);
                console.writeline();
                console.foregroundcolor = consolecolor.red;
                console.writeline("过滤后：");
                console.foregroundcolor = color;
                console.writeline(ws.filter(str));
            }
            console.read();
        }

}

输出结果截图：

另外送上一个简单实用的代码运行时间测试类，测试某段代码的运行时间可是很方便的哦

复制代码代码如下:

using system;
using system.diagnostics;

namespace wordfilter
{
    /// <summary>
    /// 测试代码运行时间帮组类
    /// </summary>
    public class operationtimer : idisposable
    {
        private string text;
        private int32 collectcount;
        private stopwatch stopwatch;

        public operationtimer(string txt)
        {
            perpareforoperation();
            this.text = txt;
            collectcount = gc.collectioncount(0);
            stopwatch = new stopwatch();
            stopwatch.start();
        }

        public void dispose()
        {
            stopwatch.stop();
            console.writeline("{0} milliseconds (gcs={1}) {2}", stopwatch.elapsedmilliseconds, gc.collectioncount(0) - collectcount, text);
        }

        private static void perpareforoperation()
        {
            gc.collect();
            gc.waitforpendingfinalizers();
            gc.collect();
        }
    }
}

实现撒列的部分核心代码：

复制代码代码如下:

      public dictionary<char, ilist<char>> handlekeywords(ienumerable<string> text, int size)
        {
            dictionary<char, ilist<char>> diclist = new dictionary<char, ilist<char>>(size);//预分配非常关键
            int len, i;
            foreach (string s in text)
            {
                if (s == string.empty)
                {
                    continue;
                }
                len = s.length - 1;
                for (i = 0; i < len; i++)
                {
                    if (diclist.containskey(s[i]))
                    {
                        if (diclist[s[i]] != null && !diclist[s[i]].contains(s[i + 1]))
                        {
                            diclist[s[i]].add(s[i + 1]);
                        }
                    }
                    else
                    {
                        diclist.add(s[i], new list<char>(2) { s[i + 1] });
                    }
                }
                if (!diclist.containskey(s[len]))
                {
                    diclist.add(s[len], null);
                }
            }

return diclist;
}

我也想贴出全部代码，但是还有一些bug，功能还有待完善，完善一些了会贴出源码的，在截一张图给大家看看