2016年7月回国办户口

最近工作比较忙,还不得不请假回过办户口。要得益于伟大的户口制度,忙里偷闲回国一趟。 由于买机票失误无谓的倒机,以后要吸取教训,机票自己买,不能图省事交给机票贩子。那些人没有服务精神。 回国感触: 1,坐飞机没耳朵疼庆幸庆幸。有鼻炎,5月去冲绳坐飞机耳朵疼,半边脸都跟着疼。也是因为这个原因还的潜水只能漂在水面上。 2,锅内移动支付真tm方便,连小区的水果店都支持微信/支付宝支付。只办户口用的现金,其他的移动支付都ok。 3,PC卖场彻底没落。攒机⇨品牌机⇨笔记本⇨平板⇨智能手机、刚出国的时候正是笔记本大热,就连周边耗材也都如火如荼的。海龙鼎好还有太平洋都人头攒动。上次回国海龙就没几个商家了,有商家也都不卖电脑了。这次去通州的百脑汇,空荡荡的卖场里面布满了灰尘。只有2~3个商家聚在门口,难掩破败景象。 4,狠狠的解了把馋,吃烧烤,吃瓜,姑娘儿。

本地gitserver和github同步/ローカルgitサーバーとgithub同期

公司的代码都托管在github上,而project管理用的是atlassian。 自从atlassian的bitbucket正式release以后。 老板想把鸡蛋放在一个篮子里面,催促着从github上迁移到bitbucket。 理由是目前每个月需要向github和atlassian两个地方付费,迁移以后只向一个地方付费就ok了,减少支付流程。 不管老板的真实理由是什么,大家都用惯了github谁都不想迁移。 被逼的没办法,只说先用着试一试,于是就在公司建了个本地的git服务器。 大家只向本地服务器提交代码,本地服务器上配置两个remote,一个指向github,一个指向bitbucket。 前两个月有一次github宕机导致有两个小时没法用github,建本地git服务器以后就不会再有这样的问题。 而且所有的commit都能如实的反应到github上去,还能继续使用github上比较丰富的graphs,大家都很happy。 具体的实现一点都不难,随便google了几下有很多靠谱的文章。 步骤: git服务器安装配置,包括配置和github的连接(略) 做一个github的本地镜像 git clone –mirror $URL 各自开发环境的repo做切换git remote set-url origin $LOCAL_URL 追加git本地服务器的hook(xxx.git/hooks/post_recieve),将本地commit自动反应到github 因为权限问题自动将本地commit提交到github环节遇到一些周折。 git服务器用的是git用户,忘记给git用户追加github的key,导致向github push失败,开始以为是hook的问题。折腾了好久。

架设代理服务器

因为私事下周末要回国。 回国以后觉得最不方便的就是上网。 每天都用的服务都被gfw给封了。 为了不影响工作就不得不翻墙。 正苦于找稳定服务的时候,才想起来代理服务器自己可以搭建。 亏得自己还号称是程序员。 建服务器就不赘述了,分分钟搞定的事情。 为了安全要搞一个ssl加密。 再搞一个端口转换。 只自己用就好,认证的话basic就行,应该不会遭到攻击,不防备了。用户名和密码都变态一点也就够了。

将本地subversion的repos导入git

ec2上的虚拟主机上面一只跑了一个subversion的server。 server搬家以后,没安装serversion的server服务,里面的东西一直也没看。 今天想挪到git里面,公司的代码从subversion向git迁移做过,不过当时subversion和git都在服务启动的情况下。 不打算安装subversion,用本地文件试一试。 google了一下,因为subversion版本的关系,不少人很费周折。 用下面的命令试一下,出问题再说。 git svn init file:///var/www/svn/projectX projectX.git cd projectX.git git svn clone 没想到成功了。 然后接连的导入了若干repo。 人品爆发,lucky。

web crawler 抓站(2)

程序改写成php,抓站的时候出了问题。 用array来记录哪些url抓过,哪些没抓过,当数据少的时候还好,当数据多到几千条,用array_key_exists来查询的时候就会特别的慢。 用命令看,cpu被耗光了。 虽然说某些条件下isset会比array_key_exists快。但也不是靠谱的解决办法。 打算架一个memcached,服务器,这个东西查询的话,嗖嗖快。 应该能解决查询的问题。 明天再试一试。 以前实现过memcached缓存整个网页的程序。现在的wordpress因为插件少还算快。等插件都activate以后。怕速度就无法忍受了。 正好趁着架memcached把wordpress页面也缓存了,装满插件也不慢。

web crawler 抓站

有些网站上会提供很有价值的内容。 而这其中大部分网站都不提供feed,不能坐等数据送到面前就只能主动出击自己去找。 当然把这些网站加入bookmark,一个个访问用肉眼去看是解决方案。对于程序员来说,呵呵了。 所以一直在找一个抓站的工具。 曾经花费不少时间来安装调试scrapy,最终放弃。这个东西号称最强大的抓站工具。的确是太强大,以至于很难上手。 自己的需求也不过是访问某些网站的某些特定url,提取所有文本内容,供查询。 最终放弃用现成工具,决定自己再造轮子。 工作中用的jmeter,selenium,还有去年做的自动提交表单的程序等等都能派上用场。 所以还不是从0开始。 起初做了个java版,测试的时候顺便把某个电子书下载网站的所有电子书都抓下来了。 说道抓站,可能印象里就是偷东西干坏事。果不其然程序出来了,干正事之前先干了坏事。 要抓的网站不可能都一个结构,有很多不确定性。与php随心所欲的array相比,java对不确定性的处理显得有些无力了。 这两年一直用php对php更熟悉一些,所以又改写成php。 java和php都有自动解析html的工具,有的工具就是正则表达式的循环来实现的,性能方面有问题。 去年写的程序因为对性能要求,没有用自动解析工具,而这次的抓站程序对性能没有要求(如果访问太频繁反而容易被封,还要加延迟),所以就用了解析工具。和去年的程序比,整洁了不少。 php的程序,目前实现了用mongodb来存储抓站过程。 待开发功能: 用json配置文件,针对不同网站抓取不同内容 优化现有php程序,让代码更通用,适用于各种网站 做schedule来定期抓取 追加认证功能,可以抓login后的网站 用mean stack来展示已抓取内容 最后用mean结构来重写抓站程序,剔除php程序

(家里构建服务器之)端口映射

家里的网是光纤,很快很快。 网络设备列表: CTU,网络接入设备,带路由功能 wifi路由器,常用路由器 小米路由器,“尝鲜”购入的网络设备,因为不相信xiaomi的品行,时而通电,时而断电 macmini,有线接入CTU,无线接入wifi路由器 若干终端,接入wifi路由器 需求: macmini上用virtualbox构建若干服务器,需要从外网直接访问到这些服务器。 能功过域名访问(杂谈:因为一些历史原因,现在手里还有10几个域名) 家里的若干终端也需要用域名访问 网络安全 遇到问题: 通过修改CTU设置,让外网访问穿过CTU 域名和ip地址匹配 macmini上的虚拟机,不能接收端口映射 解决: CTU(防火墙里开放端口80,端口转换80->8080映射到macmini上) macmini(虚拟机设置,端口8080映射给虚拟机的80) 若干终端通过修改hosts文件来强制ip域名的匹配 80端口之外,只开放一个git服务端口,该端口只能执行git命令,用key来访问 待解决问题: 需要手动绑定域名和ip 没有固定ipCTU重启就会改变ip地址,以前通过域名商提供的软件来实现动态绑定,但该软件只有windows版本。可以在macmini上跑一个win虚拟机装这个软件 搞定内网的dns解析问题,放弃修改hosts文件的方法 过两天上图

自宅にサーバを立てる

又把server搬回家了。原因很简单,钱~ 用ec2的micro每个月大概在$8左右,加上github的$7,合起来也不算多。 但ec2是micro的实例,性能上受限制能做的事情不多,要搞一个“随心所欲”的测试机,就不止这个数了。 去年测试跑了一个月的m2,花费了$80,很疼。 去年新置了个16G的macmini,7×24小时开机,计算资源闲着也是闲着,索性就把云主机和github代码服务器都迁回家里。 在迁移的过程中,域名设置,端口号转换上浪费了不少时间。 以前在这上面就没少费时间,没做到吃一堑长一智。 还有就是,因为wordpress备份数据丢失,导致个人blog丢了一年的数据。 很疼,很疼,很疼。 现在习惯用mindmap和evernote来记录,用blog会很少吧。 不过迁到家里了,想写就写写。 ec2上跑的服务,wordpress和背单词的app迁移了,其他几个web服务,程序迁移完成了还没跑起来, 再有就是svn数据迁完了,还没转成git。 以后有时间慢慢弄。 现在macmini上跑的是virtualbox和vagrant的组合。过段时间搞一个docker玩玩。

5月黄金周的冲绳之旅

4月30日~5月4日,和亲戚一行17人在冲绳本岛玩了5昼夜。 食住行里面,住和行最满意。 住: 租了一个独门独栋的4层别墅。 非常宽敞,2个厨房,2个浴室,3个卫生间。2个大起居室。各种设备一应俱全。 行: 租了2台8个座的日产serina。2台的行驶距离都刚刚过1000公里,车很新车况也很好。 吃: 本来就生活在日本,所以并没觉得吃有什么特别的地方。不过物价要比大阪便宜一些。 什么海葡萄,苦瓜之类的不算家常也总能吃到。有种海草很好吃,酸甜口的。然后还迟到了很大的夜光贝。切成片生吃很香。 按照时间顺序记录一下走过的景点。 《首里城》 推荐指数:3 这是古代冲绳的皇宫,坐落在那霸的制高点,可以俯瞰整个那霸街区绵延到海岸。因为1897年为止冲绳一直是中国的属国,无论是建筑样式还是颜色搭配,都透露着浓郁的传统中国文化气息,红墙,红瓦,金字。 《青色洞窟》 推荐指数:5 网评说这是世界著名的潜水景点,一下海就被美景震慑住了。五彩斑斓的珊瑚和鱼,终于看到了海底世界的实景。 因为还有花粉症,鼻子堵塞受不了耳压,没能潜很深。不过通行的亲戚用水下摄像机录了海底的影像。 和潜水店店主聊天,这位店主出生在东京,在北海道长大,和冲绳的姑娘结婚又搬来冲绳住。很有故事的样子。 《万座毛》 推荐指数:5 理由都不需要说明了吧。这或许是冲绳上镜率最高的地方。这种地貌的地方走过几个,因为这里有更漂亮的海和沙滩,而显得不同。 《琉球村》 推荐指数:3 卖当地纪念品,物价很亲民。而且买够一定金额的话,日本本土免邮费邮到家里。很方便。省得自己拿那么多行李。我们买了些纪念品,人还没到家东西已经到了。 在国内旅游,无论去哪里大多旅游区的纪念品都是温州产的。在这里可以更多的工艺品是冲绳本地产的,当然有些价格也很贵。 《美ら海水族館》 推荐指数:4 如果去过海族馆,难免会觉得玻璃水池里养的海洋动物,哪里都那么回事。 这个海族馆,只留意3条巨大的鲸鲨和一米多长的龙虾留下印象,看的时候就想这些东西应该会很好吃吧。 海族馆值得玩的另一个或者说主要原因,是后面有一大片海滩很漂亮,遥望对面一个海岛上空还偶尔飞过美国军机。海族馆的门票也是这次所有景点里面最贵的。不过光想看海滩的话,可以不买海族馆的票。 儿子说鲸鲨是世界上最大的鱼类,我说,鲸不是更大么?儿子立刻回到,鲸不是鱼。 《古宇利海峡大桥》 推荐指数:5 这里的海实在是太美了,绿色,蓝色,黄色和白色的浪掺杂在一起。很像热带的海岛。 岛那一侧可以洗海水浴,近处停车收费,稍微远100~200米就有免费停车的地方。 赶时间只在岛上转了一下,下次有时间一定去洗海水浴,应该能看到珊瑚和热带鱼。 《玉泉洞》 推荐指数:2 玉泉洞有主题公园,放眼看出去全都是绿色。 看过溶洞的人来说,玉泉洞本身或许不值得游。 《免税店》 推荐指数:1 号称是全球最大的内陆免税店,卖各种名牌。 一面税为名,实际不怎么便宜。专门跑到这里购物有点浪费时间。 其他: ————酒 日本地方啤酒叫地ビル、orion是当地的品牌,牛排店主给我们推荐draft,口感非常淡。很容易下口,喝了也不上头。 印象里维度高因为冷喝高度酒,比如西伯利亚的伏特加。而纬度低喝低度酒,冲绳本地叫泡盛的白酒有30多度。很意外在这么热的地方居然有高度白酒,可能也是自古是中国属国的影响。这种酒也容易下口,一点都不觉得辣。 ————音乐 这几天在车里听了很多冲绳音乐,两首歌印象很深刻,一个是《島唄》,一个是《島人ぬ宝》。两首歌里都用了冲绳乐器三弦,浓浓的本地气息。 以后每次听这两首歌都能想起冲绳来。 ☆严格来说,《島唄》是石恒岛民歌,虽然是冲绳离岛,但并不是冲绳民歌。

回归ec2

在ec2上建站: http://www.geluu.com/2012/07/建站/ 不熟悉ec2,跑了收费版小痛一下: http://www.geluu.com/2012/08/建站指北/ 从ec2迁出: http://www.geluu.com/2013/04/服务器迁移/ 今天又决定迁回去。 为什么迁出,前面已经撰文说明。迁回去和迁出原因很大程度是重合的,那就是————钱。 迁出是因为ec2快到一年免费试用期,要收费了。 结果发现在家里每个月电费增加了2400日币,和ec2的费用差不多。而且机器在家里24小时开机,很吵。放机器的屋子温度都上来了,夏天越来越近了。热。 以前曾经总结过用ec2的方法,照着文章再搞一遍。 这个blog,背单词http://words.geluu.com,两个auction网站的展示, 还跑了几个服务,都迁回去。 这个世界终于可以清净了。