程序改写成php,抓站的时候出了问题。
用array来记录哪些url抓过,哪些没抓过,当数据少的时候还好,当数据多到几千条,用array_key_exists来查询的时候就会特别的慢。
用命令看,cpu被耗光了。

虽然说某些条件下isset会比array_key_exists快。但也不是靠谱的解决办法。
打算架一个memcached,服务器,这个东西查询的话,嗖嗖快。
应该能解决查询的问题。

明天再试一试。

以前实现过memcached缓存整个网页的程序。现在的wordpress因为插件少还算快。等插件都activate以后。怕速度就无法忍受了。
正好趁着架memcached把wordpress页面也缓存了,装满插件也不慢。

Leave a Reply

Your email address will not be published. Required fields are marked *