java 查看线程状态 爬虫相关(2)

Ubuntu虚拟环境

workon spider_py2

gbk -> utf-8

str_utf8 = str_gbk.decode("utf-8").encode("gbk")

任何平台的任何编码格式都可以和Unicode互相转换。

https://www.baidu.com/s?wd=%E9%BB%91%E9%A9%AC%E7%A8%8B%E5%BA%8F%E5%91%98

ASCII

GBK

GB2312

https://tieba.baidu.com/f? kw=%E6%9D%8E%E6%AF%85 pn=50

page = 1 pn = 0

page = 2 pn = 50

page = 3 pn = 100

pn = (page - 1) * 50

for page in range(5):

pn = (page - 1) * 50

url =

^(.*):\s(.*)$

"\1" : "\2",

https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=20&limit=20

Ubuntu 用户变量：~/.bashrc

系统变量：/etc/profile

Mac : ~/.bash_profile

"Cookie" : "anonymid=j57kitk3-s3oosm; depovince=BJ; _r01_=1; JSESSIONID=abc0ilHulkVP1_GsQGo1v; wp_fold=0; jebecookies=80d78f96-6782-4834-b403-9ae24fd48c6a|||||; ick_login=f384a1df-b8eb-4d67-8cce-40fd44a82f0a; _de=BF09EE3A28DED52E6B65F6A4705D973F1383380866D39FF5; p=5d72640888585bb232a15470cf5710009; first_login_flag=1; ln_uact=mr_mao_hacker@163.com; ln_hurl=http://hdn.xnimg.cn/photos/hdn521/20140529/1055/h_main_9A3Z_e0c300019f6a195a.jpg; t=d1a9529285f098d933d0634c5da97a529; societyguester=d1a9529285f098d933d0634c5da97a529; id=327550029; xnsid=b17a55ab; loginfrom=syshome"

从计算机硬件角度：

计算机核心是CPU，承担了所有的运算任务。

单核CPU一次只能运行一个任务。AMD 物理核心

多核CPU一次能够运行多个任务。INTEL 虚拟核心

台式机I5 四核四线程

四个CPU核心，四个逻辑处理器，每个CPU核心都能运行一个任务

能够同时运行四个任务。

笔记本I5 双核四线程

二个CPU核心，四个逻辑处理器，每个CPU核心都能运行一个任务

能够同时运行四个任务。

CPU的线程 和 操作系统调度的线程 不是一个概念。

从操作系统角度：

进程：一个进程表示一个程序的执行活动；

线程：进行CPU运算最小调度单位。

进程之间是互相独立的，一个CPU同时只能运行一个进程（单核），其他进程就处于非运行状态。

进程可以包含的一个或多个的执行单元，叫线程。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-77069-2.html