food

  1. 找一个地方，或者是一件事情，可以沉浸下来思考，思考下一步怎么做，个人经验是，在愉阅读中，或者是某个令人愉悦的视频中，通过别人的做法或想法，来整理自己的想法，来计划自己的路线。

  2. 想做成某件事，达到某种结果，但是又觉得无从下手，烦乱不安，来回踱步，目光不定。还是根据以往的经验，多给自己找一些事情，把任务列表拉长了，压力就来了，压力，这个老话题，过不去的坎。

  3. 在编码没一定着落之前，放弃其他一切的活动。

  4. 尽量保持每天都写一篇日志。

展开全文 >>

myPrinter

1. 获取西刺代理，enjoy!

2. 我的打印机啊， 可以的，可以的。

test01
test02

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
# -*- coding: utf-8 -*-
# info: fanchuang  2018/6/3 20:08
# 目的:  写一个获取西刺代理的小文件，用面向对象的思想
# 使用此文件： 1. d = DaiLi()； 2. d.enjoy()


import random
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent


class DaiLi:
    def __init__(self):
        self.door = 'http://www.xicidaili.com/nn/1'
        self.headers = {'User-Agent': UserAgent().random}
        self.s = requests.Session()
        self.proxies = []

    def getProxies(self):
        resp = self.s.get(self.door, headers=self.headers)
        if resp.status_code == 200:
            soup = BeautifulSoup(resp.text, 'lxml')
            tar = soup.find_all('tr', class_='odd')
            for t in tar:
                kids = t.find_all('td')
                # 判断并过滤类型，个人认为HTTPS的好用一些。
                if kids[5].text == "HTTPS":
                    # 判断并过滤存活时间
                    if "天" in kids[8].text:
                        # 拿到ip地址和端口号
                        daili = ":".join([kids[1].text, kids[2].text])
                        # print("ip + port:", daili)
                        self.proxies.append(daili)
        else:
            print('sorry,nothing: ' + str(resp.status_code))
        return self.proxies

    def enjoy(self):
        return random.choice(self.getProxies())


if __name__ == '__main__':
    d = DaiLi()
    # d.enjoy()
    print(d.enjoy())

展开全文 >>

526nothing

获取B站直播字幕，然后发字幕

一个会画画的妹子

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
# -*- coding: utf-8 -*-
# info: fanchuang  2018/5/27 21:07
# 目的:

'''
1. 根据这个视频学的：https://www.bilibili.com/video/av22932860?spm_id_from=333.338.__bofqi.14
2.这位 视频制作者，我觉得他的风格很好，有点像虎牙青春老牛。给人以很轻松的感觉，但是同时也让人觉得狠厉害。

'''

import random
import time
import requests


# 面向对象的思想来写

class DanmuSend:

    def __init__(self, roomid):
        self.roomid = str(roomid)
        self.url = 'https://api.live.bilibili.com/ajax/msg'
        self.url2 = 'https://api.live.bilibili.com/msg/send'
        self.form = {'roomid': self.roomid,
                     'csrf_token': '639c741fd5d30e4607ea7848f7d30449',
                     'visit_id': '13vgjijweoww'}
        self.cookie = {'Cookie': 'xxx'}
        # **********下面是发送弹幕的请求信息*******************


    def getDanmu(self):
        self.resp = requests.post(self.url, data=self.form)
        print(self.resp.status_code)    # 200

        self.json_data = self.resp.json()
        # print(self.json_data)
        # print(type(self.json_data))     # <class 'dict'>

        # 1. 先是简单地获取一条弹幕信息，写法是这样的
        # self.danmu_info = self.json_data['data']['room'][0]['text']
        # print(self.danmu_info)

        # 2. 获取一次请求中的所有弹幕信息 是这样的.这句的写法 真是教科书式的，是个模板，是真功夫。
        self.danmu_info = list(map(lambda x: self.json_data['data']['room'][x]['text'], range(10)))
        print(self.danmu_info)
        self.message = self.danmu_info[random.randint(7, 9)]


    def sendDamu(self):
        form2 = {'color': '16777215',
                      'fontsize': '25',
                      'mode': '1',
                      'msg': self.message,
                      'rnd': '1527427681',
                      'roomid': self.roomid,
                      'csrf_token': '639c741fd5d30e4607ea7848f7d30449'}

        resp2 = requests.post(self.url2, data=form2, cookies=self.cookie)
        print(resp2)


if __name__ == '__main__':
    # room_id = input('请输入主播房间的id')
    # danmu = DanmuSend(room_id)

    danmu = DanmuSend(98608)
    danmu.getDanmu()
    danmu.sendDamu()

    # for .....while ......time.sleep().....

展开全文 >>

524earthImage

gevent 限制并发下载谷歌地球的壁纸。

话说我是多么想去南方啊。草木丰盛。
感谢知乎各位大神，我这篇磕磕碰碰的爬虫总算是完成了，差不多搞了2周啊。主要参考这篇

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
from gevent import monkey 
monkey.patch_all()

import requests 
import re 
import time 
import os 
import gevent 
import base64
from gevent import pool

s = requests.Session()


def get_page(url):
    filename = url.split('/')[-1][:4] + '.jpg'
    resp = s.get(url)
    if resp.status_code == 200:
        data = resp.json()
        img_data = data['dataUri'].replace('data:image/jpeg;base64,', '')
        img_cont = base64.b64decode(img_data)

        with open(filename, 'wb') as f:
            f.write(img_cont)

    else:
        print('sorry!')



t1 = time.time()
# os.mkdir('GoogleEarth2')
os.chdir('GoogleEarth2')

poo = pool.Pool(10)
jobs = []

urls = ['https://www.gstatic.com/prettyearth/assets/data/v2/%d.json' % x for x in range(6001, 8000)]

for u in urls:
    jobs.append(poo.spawn(get_page, u))
gevent.joinall(jobs)

print('cost time is :  ')
print(time.time() - t1)

展开全文 >>

523readingNote04

近期读书笔记04

包法利夫人读起来感觉很好，鼠疫简直读不下去。

1
2
3
4
5
6
7
8
1. 释迦牟尼：这种不注意周围环境的心理往往足以遏制改进物质生活的愿望，而改进物质生活的愿望，会给科学知识的进步带来推动力。
2. 某作家：每天她都会写一点，不报希望，亦无悲观。
3. 一根雪茄和泽西岛历历在目让你心旷神怡。
4. 他写道：没有人曾经更多体尝莫测的命运，我十三次发财致富而又沦为赤贫。
5. 包法利夫人：可是对着一切，她渐渐厌倦了，却又不承认，只是靠习惯和虚荣心，才得以支撑下来。
6. 包法利夫人：她未尝不想下楼与女佣人聊聊天，可是碍着面子，又打消那念头。
7. 包法利夫人：她很懊恼，但越懊恼，欲望越强烈。
8. 鼠疫中某医生：他有一副好脾气，总是面带笑容。他似乎对所有正常的娱乐活动都感兴趣，但又不沉迷其中。

展开全文 >>

523gevent

以后 主要，还是多用 gevent。稳定，持续，最重要的是：速度快。

个人感觉是比 自带的aiohttp + asyncio 要好用，且快。

alone

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

'''
gevent downlaod 
gevent is much faster than multiprocessing.dummy  

'''
import requests 
import re 
import time 
import os 
import gevent 
from gevent import monkey 
monkey.patch_all()



def get_page(url):
	cont = requests.get(url).content
	with open(url.split('/')[-1], 'wb') as f:
		f.write(cont)
	


urls = [u.strip() for u in open('us.txt', 'r')]
tasks = [gevent.spawn(get_page, url) for url in urls]

gevent.joinall(tasks)

展开全文 >>

520aiohttp_bing01

用aiohttp 下载 bing壁纸（目前只能下7张）。也算是异步的一次小小的尝试了。

felcon

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
# -*- coding: utf-8 -*-
# info: fanchuang  2018/5/20 19:35
# 目的: 

import os
import time
import re
import click
import asyncio
import aiohttp


# url = 'https://cn.bing.com/HPImageArchive.aspx?format=js&idx=0&n=1&nc=1526816726462&pid=hp'

TODAY = time.strftime('%Y-%m-%d', time.localtime(time.time()))
PATTERN = re.compile(r'')

async def getPic(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as resp:
            json_file = await resp.json()
            data = json_file['images']
            for d in data:
                pic_url = 'https://cn.bing.com' + d['url']
                click.echo(pic_url)

        async with session.get(pic_url) as res:
            with open(pic_url.split('/')[-1], 'wb') as f:
                cont = await res.read()
                f.write(cont)


if __name__ == '__main__':
    os.makedirs('必应壁纸', exist_ok=True)
    os.chdir('必应壁纸')
    loop = asyncio.get_event_loop()
    urls = ['https://cn.bing.com/HPImageArchive.aspx?format=js&idx=%d&n=1&nc=1526823492560&pid=hp' % x for x in range(7)]
    tasks = [getPic(url) for url in urls]
    loop.run_until_complete(asyncio.gather(*tasks))

    # print(TODAY)

展开全文 >>

510low

阳台上的瓜苗啊。你注定是命途艰难啊。

另外，下载，合并ts文件（初步版本）。

plant

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
# -*- coding: utf-8 -*-
# author: fanchuangwater  Administrator
# time: 2018/5/10 23:59
# about: 

# 当前这是第一步，还有许多是需要完善的。针对一个站点来批量操作是下一步的任务。

import re
import subprocess
import uuid
import requests
from multiprocessing.dummy import Pool

video_url = ''

url = ' '
filename = url.split('/')[-1]
mp4_name = filename.split('.')[0]


# 总想把前2个方法合成一个，目前是不行的。
def get_m3u8File(url):
    res = requests.get(url).content
    with open(filename, 'wb') as f:
        f.write(res)


def get_tsFile():
    for i in open(filename, 'r'):
        if i.strip()[0] != '#':
            # ts_url = ' ' + i.strip()
            ts_url = ' ' + i.strip()
            # print(ts_url)
            # yield ts_url
            ts = requests.get(ts_url).content
            with open(ts_url.split('/')[-1], 'wb') as g:
                g.write(ts)


if __name__ == '__main__':
    # get_m3u8File(url)
    # get_tsFile()

    # print("got all ts !")
    #
    cmd1 = 'copy /b *.ts {}.ts '.format(mp4_name)
    cmd2 = 'ffmpeg -i {0}.ts -vcodec copy -acodec copy {1}.mp4 '.format(mp4_name, mp4_name)
    cmd3 = 'del *.ts'
    cmd4 = 'del *.m3u8'

    # subprocess.call(cmd1, shell=True)
    # subprocess.call(cmd2, shell=True)
    #
    subprocess.call(cmd3, shell=True)
    subprocess.call(cmd4, shell=True)
    # print('got mp4')

展开全文 >>

505今日头条

下载今日头条图片（根据首页搜索结果）

下一步是根据用户主页来写

e.g

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
# -*- coding: utf-8 -*-
# author: fanchuangwater  Administrator
# time: 2018/5/5 18:12

import time
import os
import requests
from multiprocessing.dummy import Pool

'''
0. 直接在内存中进行。不要再写入额外的文件了。
1. 这个文件是再次测试 第一个版本的，试试 关键词为：“上海”
2. 下一步是根据 某用户的主页来进行 
'''

headers = {
    'cookie': 'tt_webid=6547250260123731469; WEATHER_CITY=%E5%8C%97%E4%BA%AC; UM_distinctid=162ed599746a00-037e0ac2fce924-3e3d510f-1fa400-162ed599747d46; _ga=GA1.2.844640822.1524400547; uuid="w:b3c29a34829040c0886a87fa70db15c6"; tt_webid=6547250260123731469; __utma=24953151.844640822.1524400547.1525496653.1525496653.1; __utmz=24953151.1525496653.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); CNZZDATA1259612802=246391495-1524398248-https%253A%252F%252Fwww.google.com.hk%252F%7C1525500131; __tasessionId=1tf0k2dqa1525503020866',
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.168 Safari/537.36'
}
kw = input('请输入关键词：')
s = requests.Session()


#  1.给1页（1个url）, 拿到x个内容
def getPics():
    picLinks = []
    for r in range(9):
        u = 'https://www.toutiao.com/search_content/?offset=' + str(
            r * 20) + '&format=json&keyword=%s&autoload=true&count=20&cur_tab=3&from=gallery' % kw

        wbdata = s.get(u, headers=headers)
        data_json = wbdata.json()
        data_20 = data_json['data']

        for i in data_20:
            if 'title' in i:
                for p in i['image_list']:
                    # line = 'http:' + p['url'].replace('list', 'origin') + '\n'
                    picLinks.append('http:' + p['url'].replace('list', 'origin'))

    return picLinks


def download(url):
    print("正在下载：" + url)
    pic = s.get(url).content
    fn = url.split('/')[-1] + '.jpg'
    with open(fn, 'wb') as f:
        f.write(pic)


if __name__ == '__main__':
    begin = time.time()
    os.makedirs(kw, exist_ok=True)
    os.chdir(kw)

    ok = getPics()
    my_pool = Pool(20)

    my_pool.map(download, ok)
    my_pool.close()
    my_pool.join()

    print("下载完成了！总共消耗的时间是：" + str(time.time() - begin))

展开全文 >>