C#开源爬虫NCrawler源代码解读以及将其移植到python3.2（2）

C#开源爬虫NCrawler源代码解读以及将其移植到python3.2（2）

在上一篇中,我们提到了管道这个概念(pipeline),其实所有的管道都实现了同一接口叫

    public interface IPipelineStep
    {
        void Process(Crawler crawler, PropertyBag propertyBag);
    }

所有爬到的网址都将被 构造 Crawler 时通过构造函数注入的管道 处理。

一般来说第一个处理的管道是 HtmlDocumentProcessor，它负责解析网页。那么其实现接口的具体函数就很值得一看。

在函数的开始处NCrawler使用了AOP技术做了一次参数的非空检查，使用的AOP框架是轻量级的，叫 AspectF。

            AspectF.Define.
                NotNull(crawler, "crawler").
                NotNull(propertyBag, "propertyBag");

紧接着函数进行了一系列操作,把HTML的文本,包括 title , meta 提取出来,找出其中 links ,然后开启循环针对里面每个 link 整形重新添加到 爬虫的 等待爬行的URL的序列,代码如下:

            foreach (string link in links.Links.Union(links.References))
            {
                if (link.IsNullOrEmpty())
                {
                    continue;
                }

                string decodedLink = ExtendedHtmlUtility.HtmlEntityDecode(link);
                string normalizedLink = NormalizeLink(baseUrl, decodedLink);
                if (normalizedLink.IsNullOrEmpty())
                {
                    continue;
                }

                crawler.AddStep(new Uri(normalizedLink), propertyBag.Step.Depth + 1,
                    propertyBag.Step, new Dictionary<string, object>
                        {
                            {Resources.PropertyBagKeyOriginalUrl, link},
                            {Resources.PropertyBagKeyOriginalReferrerUrl, propertyBag.ResponseUri}
                        });
            }