Python网络爬虫7 - 爬取表情包

为了逗女朋友开心,想找一堆表情包,那么作为一名程序员,自然是会想到用程序来完成这个事情,而Python爬虫就是一个非常好的方法。

我先找到了一个专门发布表情包的网站,就叫做发表情网,可以通过搜索关键词得到大量相关的表情包,下面对这个网站的爬取进行详细介绍。

阅读更多 >>

嵌入式设备在无法使用网络和USB的情况下如何进行文件传输

问题背景

ST 测试时出现一个问题,路由器(采用Openwrt系统)的console无法正常显示shell提示符,正常情况下是

root@DeviceName:/#

这样的,出问题时是下面这样的,用户名不见了,设备名变成了none.

@(none):/#

阅读更多 >>

使用正则模糊匹配的ftp文件传输

通常而言,FTP传输过程中,客户端在完成账户认证后,需要指定具体的文件路径方能下载或删除服务器端的文件。但是在使用命令行指令去操作ftp数据时,如果每次都要输入完整的路径就太麻烦了,而且如果想要同时下载多个文件还需逐个执行下载指令,那有什么方法可以通过正则表达式去完成模糊匹配和批量下载呢?本文就来介绍一下FTP数据传输的常用操作及正则匹配的实现方法。

ftp diagram

阅读更多 >>

Python网络爬虫6 - Scrapy爬取vmgirls

今天介绍一个妹子站点图片的爬取过程,站点唯美女生。站点结构非常简单,单独用requests库或者scrapy框架都可以。本文介绍的是使用scrapy框架爬取。

vmgirls

阅读更多 >>

高效思维导图应用训练

上周在公司进行了一天的思维导图培训,感觉收获颇丰,有必要总结一下。

思维导图概述

定义

思维导图主要用于解决以下三个问题:

  1. 记不住
  2. 理不清
  3. 想不出

这三个也是工作效能低下的主要原因。那究竟什么是思维导图呢?

思维导图是表达放射性思维的图形思维工具。用图文技巧,把各级主题关系用层级图表现,将关键词与图像、颜色等建立思维链接。用全脑机能,使在科学与艺术、逻辑与想象间平衡,开启大脑潜能。

阅读更多 >>

哈希表的实现与常见操作

前段时间基于数组和单链表以拉链法写了个哈希表,实现了基本的增删改查(CRUD),以键值对的形式存储一些配置参数,便以此文记录一下。

数据结构

#define TABLE_SIZE 101
#define KEY_SIZE 32
#define VALUE_SIZE 128
#define BUF_SIZE 256

#define DATA_PATH "data.txt"

struct linklist {
    char key[KEY_SIZE];
    char val[VALUE_SIZE];
    struct linklist *next;
};
struct linklist *hashtbl[TABLE_SIZE];

阅读更多 >>

git commit 工具 - commitizen

为了规范代码提交,最近学习了一下如何使用commitizen进行commit提交,其实也很简单,这里简单做个介绍。

commitizen 安装

npm install -g commitizen

阅读更多 >>

Python网络爬虫5 - 爬取QQ空间相册

自毕业后,就再也没有用过QQ,QQ空间里记录的是些并不精彩的青葱岁月,但好歹也是份回忆,近日想着学以致用,用Python把QQ空间相册的所有照片爬取下来,以作备份。

分析QQ空间

登录QQ空间

爬取第一步,分析站点,首先需要知道如何登录QQ空间。最初想法是用requests库配置登录请求,模拟登录,但是不久便放弃了这一思路,请看下图↓

阅读更多 >>