自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

喵叔

主业程序员,副业写写技术文章,顺带搞搞服务器

原创 Scrapy 爬虫模板--CrawlSpider

从这篇文章开始,我将利用三篇文章分别讲解 Scrapy 爬虫模板。 Scrapy 爬虫模板包含四个模板: Basic :最基本的模板,这里我们不会讲解; CrawlSpider XMLFeedSpider CSVFEEDSpider 这篇文章我先来讲解一下 CrawlSpider 模板。 零、...

2019-12-25 23:38:43

阅读数 730

评论数 0

原创 Scrapy spider 主要方法

Spider 类是 Scrapy 中的主要核心类,它定义了爬取网站的规则。 Spider 是循环爬取,它的而爬取步骤是: start_requests 方法用 start_urls 中的 URL 初始化 Request ,然后将请求返回结果 Response 作为参数传递给 parse 方法; ...

2019-12-23 23:43:55

阅读数 701

评论数 0

原创 搞懂线程池(一)

创建线程是一个很代价很高的操作,每个异步操作创建线程都会对 CPU 产生显著的性能影响。为了解决这个问题我们引入了线程池的概念,所谓的线程池就是我们提前分配一定的资源,把这些资源放在资源池中,每次需要用到的使用从里面取出一个,用完后再放回去。线程池一般用在需要创建大量的短暂的且开销大的资源里。.N...

2019-12-22 12:13:18

阅读数 985

评论数 0

原创 专题勘误和文章新增内容

各位读者大家好,这篇文章是记录这个专题勘误和已发表的文章修改内容的。我会在勘误和修改后将改动的地方发在这里。

2019-12-21 16:27:17

阅读数 698

评论数 0

原创 Scrapy Shell

这篇文章很简单,可以说是 Scrapy 系列中最短最简单的文章。本篇文章主要讲解 Scrapy Shell 的相关知识。 零、 Scrapy Shell Scrapy Shell 是一个交互终端,可以在没有启动 Spider 的情况下调试代码。我们在开发爬虫时会经常利用它来测试我们编写的 XPat...

2019-12-18 23:47:46

阅读数 717

评论数 0

原创 线程同步 (二)

下面我们接着讲线程同步相关的知识点,本节主要讲解以下四小节的内容: CountDownEvent Barrier ReaderWriterLockSlim SpinWait 零、CountDownEvent CountdownEvent 是一个同步基元,它在收到一定次数的信号之后,将会解除对其...

2019-12-17 23:24:30

阅读数 959

评论数 0

原创 Scrspy 命令

Scrapy 中的命令在开发中会经常用到,可以说没有命令就没有 Scrapy ,下面我就来讲解一下 Scrapy 常用的命令。 零、命令分类 Scrapy 具有两种类型的命令,分别是项目命令和全局命令。所谓的项目命令就是在项目中执行的命令,而全局命令则是指不需要在项目中运行的命令(感觉这段有点废话...

2019-12-15 14:59:36

阅读数 792

评论数 0

原创 Windows Service 小品

我们通过 Windows 服务可以创建在 Windows 会话中长时间运行的应用程序。服务可以跟随计算机一起启动,并且可以暂停、停止和重启。Windows 服务和 Windows Form 程序最大的不同点是 Windows 服务没有任何用户界面。Windows 服务一般用于后台处理数据,例如批量...

2019-12-15 13:09:24

阅读数 672

评论数 0

原创 线程同步(一)

当多个线程同时对同一个内存地址进行写入时,由于CPU时间调度上的问题写入数据会被多次的覆盖,所以就要使线程同步。所谓的同步就是协同步调,按预定的先后次序进行运行。线程同步是指多线程通过特定的设置来控制线程之间的执行顺序,也可以说是在线程之间通过同步建立起执行顺序的关系。.Net 为我们提供了多种线...

2019-12-11 15:00:45

阅读数 961

评论数 0

原创 线程基础必知必会(二)

这篇文章将在上篇文章的基础上,进一步讲解线程的相关知识。这篇文章涉及到的知识点有 线程优先级、前台与后台线程、线程参数、lock、Monitor 和 线程异常处理 。这篇要比上一篇难度有一点提高,但是大家不用担心,我依然会用大量的代码来展示每个知识点,并且对于其中的难点我会详细讲解。下面我们就开始...

2019-12-11 13:56:58

阅读数 2635

评论数 0

原创 线程基础必知必会(一)

从这篇文章开始,我将利用两篇文章讲解线程的基础知识,本篇文章涉及到了 创建线程、线程等待、线程暂停、线程终止 和 线程状态检测 相关的内容。这篇文章及其下一篇文章是这个专题的基础中的基础,因此我会用简单易懂的语言和示例代码来讲解,以求您在阅读完文章后能为后续线程其他只是打下坚实的基础。学习这张篇文...

2019-12-11 13:56:33

阅读数 6585

评论数 1

原创 准备工作与简介

简介 C# 可以说是当今所有开发语言中最好的开发语言,微软会每隔一段时间就推出一个新的 .NET Framework 框架,随着每次新框架的推出 C# 语言也会增加新的功能。而且每次更新微软都会为 C# 提供更多的向后兼容特性,因而 C# 越来越庞大越来越复杂,尤其是 C# 的多线程编程,微软提供...

2019-12-11 11:14:56

阅读数 703

评论数 0

原创 Python 正则表达式急速入门

正则表达式在程序开发中会经常用到,比如数据(格式)验证、替换字符内容以及提取字符串内容等等情况都会用到,但是目前许多开发人员对于正则表达式只是处于了解或者是基本会用的阶段。一旦遇到大批量使用正则表达式的情况(例如网络爬虫)可以说基本上就抓瞎了。这篇文章我将带领大家利用 Python 来学习一下正则...

2019-12-10 21:31:59

阅读数 691

评论数 0

原创 SQL Server 每日一题--每月销售额

零、故事 某销售公司每月都会统计每个销售人员当月的销售额,作为提成的标准。年底公司经理想看到本年每月每名销售的销售额,然后将这些数据作为今年发年终奖的参考。 一、问题 请编写出 SQL 语句,查询每名销售每个月的销售额。查出的格式如下: 姓名 一月 二月 三月 四月 五月 六月 七月 八月...

2019-12-01 22:22:36

阅读数 734

评论数 0

提示
确定要删除当前文章?
取消 删除