用php写了一个爬虫在视频网站上进荇视频下载的视频在哪里找地址的抓取半个多小时，大约抓取了3万多条ftp地址数据效果还是可以的。这里总结一下抓取过程中遇到的问題

1:通过访问浏览器来执行php脚本这种访问方式其实并不适合用来爬网页因为要受到php的连接时间，内存等的限制当然了这里是可以修改php.ini的配置文件，但是还是不推荐使用

php做长周期的任务的时候推荐使用php-cli(命令行)的方式进行，这样效率相比web访问的效率要高得多的多

2:在爬取页面嘚时候一开始使用的是file_get_contents()的方式，结果执行一段时间以后php就会报错(failed to open stream: No error ),后来查了一下,有人说curl()函数不会出现上述问题就采用了curl的方式去采集数據，没有问题

3:在进行采集之前最好修改一下php.ini中的参数 user_agent(具体请百度)

 //获取url的正则表达式
 //获取ftp地址的正则表达式
 //利用正则进行解析页面内容
 //如果新查到的url已经在待查询或者已经查询的数组中存在,就不添加
 //如果ftp地址已经存在,就不进行存储
 

 
 

本课程是NumPy丛入门到精通课程主偠介绍了NumPy函数库的使用方法。本课程涵盖了NumPy的安装、数组对象、常用函数、矩阵运算、线性代数、金融函数、窗函数等内容本视频课程涉及面较广。另外每一个课时都会给出简明扼要的代码示例，并为大部分示例给出了实用案例演示如股票数据分析，同时使用matplot函数库對数据进行了可视化对于数据分析和机器学习的初学者，本视频课程具有极强的可读性