Python网络爬虫6 - Scrapy爬取vmgirls

今天介绍一个妹子站点图片的爬取过程,站点唯美女生。站点结构非常简单,单独用requests库或者scrapy框架都可以。本文介绍的是使用scrapy框架爬取。

vmgirls

阅读更多 >>

高效思维导图应用训练

上周在公司进行了一天的思维导图培训,感觉收获颇丰,有必要总结一下。

思维导图概述

定义

思维导图主要用于解决以下三个问题:

  1. 记不住
  2. 理不清
  3. 想不出

这三个也是工作效能低下的主要原因。那究竟什么是思维导图呢?

思维导图是表达放射性思维的图形思维工具。用图文技巧,把各级主题关系用层级图表现,将关键词与图像、颜色等建立思维链接。用全脑机能,使在科学与艺术、逻辑与想象间平衡,开启大脑潜能。

阅读更多 >>

哈希表的实现与常见操作

前段时间基于数组和单链表以拉链法写了个哈希表,实现了基本的增删改查(CRUD),以键值对的形式存储一些配置参数,便以此文记录一下。

数据结构

#define TABLE_SIZE 101
#define KEY_SIZE 32
#define VALUE_SIZE 128
#define BUF_SIZE 256

#define DATA_PATH "data.txt"

struct linklist {
    char key[KEY_SIZE];
    char val[VALUE_SIZE];
    struct linklist *next;
};
struct linklist *hashtbl[TABLE_SIZE];

阅读更多 >>

git commit 工具 - commitizen

为了规范代码提交,最近学习了一下如何使用commitizen进行commit提交,其实也很简单,这里简单做个介绍。

commitizen 安装

npm install -g commitizen

阅读更多 >>

Python网络爬虫5 - 爬取QQ空间相册

自毕业后,就再也没有用过QQ,QQ空间里记录的是些并不精彩的青葱岁月,但好歹也是份回忆,近日想着学以致用,用Python把QQ空间相册的所有照片爬取下来,以作备份。

分析QQ空间

登录QQ空间

爬取第一步,分析站点,首先需要知道如何登录QQ空间。最初想法是用requests库配置登录请求,模拟登录,但是不久便放弃了这一思路,请看下图↓

阅读更多 >>

记一次Client无法获取IPv6地址问题的分析过程

近日SQA报了一个bug,对路由器经过6天左右的压力测试后,无论是有线设备还是无线设备都拿不到IPv6地址了。经过层层分析发现可能是kernel内存泄漏。本文便记录这一问题的分析过程。

阅读更多 >>

Ubuntu开机自动挂载Windows系统中的磁盘分区

本人电脑装有ubuntuwindows双系统,有时候需要在ubuntu下使用windows系统下的文件,每次手动挂载的话很麻烦,所以想让它开机自动挂载常用的windows磁盘分区。

阅读更多 >>

XSS跨站脚本攻击

近期遇到一堆 Stored XSS vulnerability 问题,即存储型跨站脚本漏洞,所以有必要学习一下XSS相关的知识。

XSS简介

XSS是跨站脚本Cross-Site Scripting的简写,至于为什么不是CSS,相信大家很容易猜到,是为了避免与前端的层叠样式表Cascading Style Sheets重名。

XSS涉及三个要素:一个站点,攻击者和受害者。攻击者通过某站点的漏洞注入脚本到该站点,受害者在使用浏览器访问该站点时就可能遭受XSS攻击。

脚本类型不限于javascript, 也可以是其它脚本,如VBScript, ActiveXflash等,但主要还是以javascript为主。

阅读更多 >>