磁力搜索PHP源码 Python抓取<i></i>

admin

蓝奏云下载百度云下载

百度云提取码为：gqud,建议通过蓝奏云下载，蓝奏云如果失效可选择百度云或联系管理员补更。

1. ## 开始部署
   
2. 
   
3. ### 创建数据库
   
4. 
   
5. 创建名为`pan`的数据库，编码设为`utf-8`。然后导入`sql`，完成表的创建。
   
6. 
   
7. 
   
8. 
   
9. ### 网站部署
   
10. 
    
11. 支持`nginx`，`apache` 服务器。
    
12. 
    
13. __apache__ 需要开启 *mod_rewrite* 。
    
14. 
    
15. __nginx__  配置如下
    
16. 
    
17. ```
    
18. location /
    
19. {   
    
20.         index index.php;
    
21.         try_files $uri $uri/ /index.php/$uri;
    
22. }
    
23. location ~ [^/]\.php(/|$)
    
24. {
    
25.         fastcgi_pass  127.0.0.1:9000;
    
26.         fastcgi_index index.php;
    
27.         include fastcgi.conf;
    
28.         include pathinfo.conf;
    
29. }
    
30. ```
    
31. 
    
32. 
    
33. 
    
34. ####  配置文件修改
    
35. 
    
36. `config.php` 文件修改网站标题，描述等信息
    
37. 
    
38. `database.php` 修改数据库账号，密码等信息
    
39. 
    
40. > 网站是基于CodeIgniter 框架开发的，如安装，部署，或二次开发有问题，请参考[官网文档]( http://codeigniter.org.cn/user_guide/general/welcome.html)
    
41. 
    
42. 
    
43. ### 启动爬虫
    
44. 
    
45. 进入 `spider/`目录，修改`spider.py` 中数据库信息。
    
46. 
    
47. __如果你是第一次部署，需运行下面命令，完成做种__
    
48. 
    
49. ```
    
50. python spider.py --seed-user
    
51. ```
    
52. 
    
53. 上面其实就是抓取百度云热门分享用户的相关信息，然后从他们开始入手爬取数据
    
54. 
    
55. 然后运行
    
56. 
    
57. ```
    
58. python spider.py
    
59. ```
    
60. 
    
61. 此时爬虫已经开始工作了
    
62. 
    
63. 
    
64. 
    
65. ### 安装xunsearch
    
66. 
    
67. 目前使用__xunsearch__作为搜索引擎，后面会更换为`elasticsearch`。
    
68. 
    
69. 安装过程请参考（不需要安装，PHP SDK，我已经整合到web里了）
    
70. 
    
71. http://xunsearch.com/doc/php/guide/start.installation
    
72. 
    
73. 
    
74. 
    
75. ### 索引数据
    
76. 上面我们完成了爬虫的数据抓取，网站的搭建，但还不能搜索，下面开始最后一步，索引的建立。
    
77. 
    
78. 进入 `indexer/`目录，在`indexer.php`中将$prefix，替换为你web的根路径
    
79. ```
    
80. require '$prefix/application/helpers/xs/lib/XS.php';
    
81. ```
    
82. 并修改数据库账号密码
    
83. 
    
84. 然后运行
    
85. ```
    
86. python ./index.php
    
87. ```