2019 年网站升级到 HTTPS 的 5 大理由

HTTP To HTTPS

网站使用 HTTPS 是大势所趋,越来越多的网站都加上了 HTTPS 支持, 并且浏览器会把 http 协议的网站标记为不安全网址:

Chrome标记http网站不安全

把网站升级为 https 有以下几大优点:

  1. 安全性更高
  2. 防止劫持和攻击
  3. 更利于 SEO
  4. 可以使用现代化 web 技术
  5. 完全免费

博客迁移到 Hugo

hugo 主页

博客很长时间没有打理,趁着这几天假期,把博客从 hexo 迁移到 hugo,也作为重新开始写博客的一个起点吧。

CentOS无桌面环境部署Selenium+Firefox

selenium+python

桌面环境使用Selenium默认会打开浏览器界面,但是如果要部署在无桌面环境的服务器环境,使用普通方法没法运行Selenium。

在服务器环境安装Gnome或者其他桌面环境,比较占用资源。

可以通过安装虚拟桌面环境解决这个问题。

AES加密原理及Python实例代码

AES(Advanced Encryption Standard)是一种对称密钥加密算法,即双方使用同一段密码对数据进行加解密操作。 AES的分块区组长度必须是128 bit,密钥长度可以是128 bit,192 bit或256 bit,分别称为“AES-128”、“AES-192”、“AES-256”。 加密过程中使用的密钥是由Rijndael密钥生成方案产生。

自己搭建亿级爬虫IP代理池

做爬虫抓取时,我们经常会碰到网站针对IP地址封锁的反爬虫策略。但只要有大量可用的IP资源,问题自然迎刃而解。

以前尝试过自己抓取网络上免费代理IP来搭建代理池,可免费IP质量参差不齐,不仅资源少、速度慢,而且失效快,满足不了快速密集抓取的需求。

Squid 搭建正向代理服务器

Squid 是一款缓存代理服务器软件,广泛用于网站的负载均衡架构中,常见的缓存服务器还有varnish、ATS等。

正向代理服务器可满足内网仅有一台服务器可以上网,而要供内网所有机器上网的需求,也可以用于爬虫的代理访问。在实践中我将Squid作为爬虫代理服务器,实现了多IP切换的功能,将在后续文章中记录实现过程。