当前位置：移动技术网 > IT编程>开发语言>Jquery > AntColony 磁力搜索BT引擎的核心

AntColony 磁力搜索BT引擎的核心

2019年12月28日 | 移动技术网IT编程 | 我要评论

介绍

antcolony（github）是findit磁力搜索引擎的核心。用来在dht网络中，收集活跃资源的infohash，下载并解析资源的种子文件，存入数据库等。antcolony是若干功能的合集，也可以单独运行其中的部分功能，所以起“蚁群”这个名字也是很贴切的（没错，我就是爱动物世界）。主要分一下几块：

worker：爬虫，收集资源infohash，可以同时启动多个进程的worker，提高效率
male：根据收集来的infohash去下载种子文件
female：将种子文件录入数据库
queen：简单的入口，启动pm2运行worker，male和female

目前启动5个worker使用3000-3004的端口，2个male和1个female。

使用mongodb储存数据，这没什么好说的；使用pm2维护和监控node进程，也没太多要说的，重点说下redis。redis里暂存的数据大概是这样的：

bucket：比较大的一个k桶
infohash：就是已经收集到的infohashs（worker收集来的，male会用来下载种子）
remotenodes：worker新认识的节点，会依次“拜访”的，目前只保存最新的10w个（一方面我的vps内存小，另一方面真没必要记录太多）
sysinfo：记录一些统计信息，例如发出多少次请求，累积收集多少infohashs，目前已经发出15亿次request，这个频率是可控的，worker 太疯狂的话，vps扛不住。

安装&运行方法

详细的使用方法请查看部署文档
其他内容查看

磁力搜索站点演示

磁力搜索网站汇总每日更新

您可能感兴趣的文章:

如对本文有疑问，点击进行留言回复！！

jQuery操作DOM对象的方法

# jQuery操作DOM 和增删改查 - 1.html() ```js $('ul li&... [阅读全文]
jQuery的clone()方法和data()方法

# jQuery中的clone()和data()方法 - clone() ```js $('.demo').clon... [阅读全文]
jq使用jsonp实现百度搜索

项目实现：还原百度搜索功能；项目原理：利用json回调页面传参; 什么是jsonp：就是利用<script>标签的src地址，让目标页面回... [阅读全文]
5.jQuery实现简单的on()和trigger()方法

# jQuery事件 - 1.on() ```js //1.事件类型type 2.selector 3.data... [阅读全文]
电器类电商网站分类大菜单，配色超舒服~

效果图 <!DOCTYPE html> <html lang="en"> <he... [阅读全文]
现代都市风移动端可折叠导航菜单

效果图 <!DOCTYPE html> <html lang="en"> <he... [阅读全文]
jQuery选择器的简单实现和笔记

# 引入jQuery工具库 ## 下载地址 - cdn:http://www.jq22.com/cdn/#a2 -... [阅读全文]
jQuery简单实现get()和eq()方法

# jQuery选择元素 - get() 从jQuery对象中获取某个指定的元素，返回原生的dom对象，所以不能再次链式调... [阅读全文]
水平导航-三级导航-切换流畅

效果图 <!DOCTYPE html> <html lang="en"> <he... [阅读全文]
互联网公司常用水平导航（二级导航）

效果图 <!DOCTYPE html> <html lang="en"> <he... [阅读全文]

网友评论


验证码：