Python网络爬虫5 - 爬取QQ空间相册
自毕业后，就再也没有用过QQ，QQ空间里记录的是些并不精彩的青葱岁月，但好歹也是份回忆，近日想着学以致用，用Python把QQ空间相册的所有照片爬取下来，以作备份。 分析QQ空间登录QQ空间爬取第一步，分析站点，首先需要知道如何登录QQ空间。最初想法是用requests库配置登录请求，模拟登录，但是不久便放弃了这一思路，请看下图↓ 根据登录按钮绑定的监听事件可以追踪到该按钮的点击事件如下： 账号加密是必然的，但这一堆堆的代码真心不好解析，有耐心的勇士尽情一试！ 在排除这种登录方法后，选择selenium模拟用户登录不失为省时省力的方法，而且我们只是需要通过selenium完成登录，获取到Cookies和后面讲述的g_tk参数后，就可以停用了，所以效率并不太低。 分析空间相册登录以后，页面会跳转至 https://user.qzone.qq.com/{QQ_NUMBER}, 这时把鼠标移到导航栏你会发现，所有的导航栏链接都是javascript:; 😳。没错就是这么坑，一切都是暗箱操作。 当然这并不难处理，使用调试工具捕获点击后产生的请求，然后过滤出正确的请求包即可。因为网络...
记一次Client无法获取IPv6地址问题的分析过程
近日SQA报了一个bug，对路由器经过6天左右的压力测试后，无论是有线设备还是无线设备都拿不到IPv6地址了。经过层层分析发现可能是kernel内存泄漏。本文便记录这一问题的分析过程。 检查网络状态首先打开Router的console，使用ifconfig br0(br0是Router LAN端的桥接地址)查看当前的网络状态 $ ifconfig br0 br0 Link encap:Ethernet HWaddr A0:63:91:A7:63:07 inet addr:192.168.27.1 Bcast:192.168.27.255 Mask:255.255.255.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:530995052 errors:0 dropped:0 overruns:0 frame:0 TX packets:1012058984 errors:0 dropped:0 ov...
Ubuntu开机自动挂载Windows系统中的磁盘分区
本人电脑装有ubuntu和windows双系统，有时候需要在ubuntu下使用windows系统下的文件，每次手动挂载的话很麻烦，所以想让它开机自动挂载常用的windows磁盘分区。 查看分区在挂载windows磁盘前，需要知道每个磁盘的路径或UUID，此时主要依靠fdisk和blkid两个指令，前一个指令获取分区信息，后一个指令获取Block device块设备的属性。 $ sudo blkid /dev/sda1: LABEL="Win10" UUID="C4A0E65EA0E65708" TYPE="ntfs" PARTUUID="6190c592-01" /dev/sda2: UUID="AE3C137D3C133FAF" TYPE="ntfs" PARTUUID="6190c592-02" /dev/sdb1: LABEL="Apps" UUID="0000678400004823" TYPE="ntfs" PARTLABEL="Basic data partition" PARTUUID="45ed07d2-c9e3-4167-8868-3e33f62784e1" /...
XSS跨站脚本攻击
近期遇到一堆 Stored XSS vulnerability 问题，即存储型跨站脚本漏洞，所以有必要学习一下XSS相关的知识。 XSS简介XSS是跨站脚本Cross-Site Scripting的简写，至于为什么不是CSS，相信大家很容易猜到，是为了避免与前端的层叠样式表Cascading Style Sheets重名。 XSS涉及三个要素：一个站点，攻击者和受害者。攻击者通过某站点的漏洞注入脚本到该站点，受害者在使用浏览器访问该站点时就可能遭受XSS攻击。 脚本类型不限于javascript, 也可以是其它脚本，如VBScript, ActiveX 和 flash等，但主要还是以javascript为主。 XSS类型XSS的分类貌似没有固定标准，但约定俗成的被分为持久化的存储型XSS和非持久化的反射型XSS。 存储型XSSStored XSS, 持久化的，也就是说只要用户在浏览器打开了这个站点就会执行攻击者注入的脚本。此类XSS要求攻击者将脚本存储至站点服务器。 举个例子，很多论坛都有评论功能，攻击者可以通过评论把脚本信息存入站点服务器，如果站点未加过滤和编码，直接将脚本...
Python之MongoDB数据分析及其Highcharts可视化
近期使用requests把内部bugziila上的bug数据爬取了一遍，并存入了本地的MongoDB数据库，想着对数据做些简单的可视化处理，将所有产品的bug数做一个统计和可视化，于是便有了这篇简短的文章。 MongoDB中的数据存储格式之前爬取数据后，存入MongoDB的数据格式如下，而我要分析的仅仅是其中的metadata.Product { "_id" : ObjectId("5c3ea1d3fbf7884588041acc"), "id" : 1, "title" : "\"Show interface dot11radio advanced\" command doesn't work", "metadata" : { "Status" : "已解決 (RESOLVED) 已修復 (FIXED)", "Product" : "AP54GTSW", "Component" : "Baseline", "Version" : "0.1", ...
Python之pypcap库的安装及简单抓包工具的实现
pypcap是一个对libpcapC库进行封装和简化的面向对象的抓包工具库，可以非常方便的用于抓包和过滤，结合dpkt解析库可以完成许多网络数据包的抓取和分析。本文讲述的就是如何使用pypcap及dpkt库实现简单抓包工具，也称为嗅探器(sniffer). Linux 端安装 pypcapsudo apt-get install libpcap-dev sudo pip install pypcap 这里有个问题,如果使用Anaconda目录的pip安装则可能失败,目前原因未明,但官方的python3对应的pip3及python2对应的pip均无此问题. Windows 端安装 pypcap根据pypcap官方说明： WinPcap has compatibility issues with Windows 10, therefore it's recommended to use Npcap (Nmap's packet sniffing library for Windows, based on the WinPcap/Libpcap librarie...
autossh反向代理实现内网穿透
有时候需要在公司使用家里个人PC的一些资源，此时可以选择Teamvieawer进行远程，但是略微麻烦而且访问速率较慢，此时通过vps实现内网穿透就是个不错的想法。 本文讲述的内网穿透方法是通过autossh实现vps对内网的反向代理，在vps与内网之间建立一条长连接，使得外网PC通过vps的反向代理访问内网PC。整个实现所需的条件如下： 带有公网IP(222.222.222.222)的vps 保持开机且联网的内网PC 任一联网的外网PC vps配置修改vps的文件/etc/ssh/sshd_config, 取消以下参数的注释或是修改其值 GetewayPorts yes TCPKeepAlive yes ClientAliveInterval 60 ClientAliveCountMax 3 内网PC配置为了保证内网PC可以免密码访问vps，需要在vps添加内网PC的公钥 $ ssh-keygen # ... enter ... $ ssh-copy-id -i ~/.ssh/id_rsa.pub -p 27000 root@222.222.222.222 # 270...
Linux中的文件I/O缓冲
近日阅读《Linux/UNIX系统编程手册》第13章 - 文件I/O缓冲，有些收获，是以此文以记之。以往只知道Linux的I/O操作有缓冲机制，但始终不知道具体的缓冲流程及使用方法。读完本章节后方才有种恍然大悟的感觉，久违的因读书而觉得舒爽的感觉。 好了，进入正题，下图摘自原文(13.4-I/O缓冲小结)，此图概括了stdio库及内核针对输出文件所用的缓冲以及各类缓冲的控制机制。本文依据此图逐步揭开文件I/O缓冲的面纱。 I/O缓冲的类型在使用stdio库中文件写操作相关的函数（如:printf, fputc, fputs, fwrite）时，待写入数据从用户空间内存到内核空间内存、再到磁盘会经过以下3类缓冲 stdio库的缓冲区 文件I/O的内核缓冲区的高速缓存 磁盘驱动器内置高速缓存 下面逐一介绍。 stdio库的缓冲 如上图所示，stdio库实现的缓冲位于用户空间内存当中，该缓冲区A会缓冲大块的文件数据以减少系统调用（如: read, write）。 需要知道的是，stdio库函数内部会调用底层的系统调用，如fgets调用read，fputs调用write。但是在...
