分类目录归档:backend

[ pytorch训练 ]


1. 数据处理

from pathlib import Path
import os, csv, random

# 1. 分类
class_name_list = os.listdir('images')
class_to_num = {class_name: num for num, class_name in enumerate(class_name_list)}
# 文件夹名:排序 {'err': 0, 'suc': 1}

# 2. 合并所有数据
image_dir = []
for class_name in class_to_num

< Read more >

[ Git文件过大 ]


参考文章

在windoes中操作, 需要右键进入git base

  1. 找出前10个最大的文件
git rev-list --objects --all | grep "$(git verify-pack -v .git/objects/pack/*.idx | sort -k 3 -n | tail -10 | awk '{print$1}')"

    c72f061f68cdf46dec58b67d7148639b3ef32e37 src/media/adver/1.jpg
    758afee990983813c34b2c6a39ae2e76ffb

< Read more >

[ vim编辑器的基本使用 ]


VIM编辑器的使用

光标移动

h左
j下
k上
l右

gg最上
G最下

跳转
ctrl + O下一个文件
ctrl + I上一个文件
g + d 查看当前函数内部

shift + e 前一个单词
shift + b 后一个单词

复制

y直接复制
yaw 复制整个单词
y4j 复制下面4行的内容
y4k 复制下4行的内容
yfr 复制到r为止的内容

粘贴

p粘贴

删除

d 删除
d8j 删除下8行的内容
dfr 删除到r为止的内
d4k 删除上4行的内容

撤销

u 相当于ctrl + z撤回

编辑模式

i 当前光标开始输入
大写i 这一行的开头开始输入
a 当前光标的前

< Read more >

[ orjson第三方序列化 ]


第三方python的json序列化包 orjson

pip install orjson

使用

# import orjson
import json
import random
from time import time


start = time()


json1 = [
    {
        "id": 9999,
        "value": random.uniform(0, 1000)
    } 
    for _ in range(2000000)
]

# 1. 第三方orjson速度 1.5917122364044

< Read more >

[ selenium防检测 ]


selenium防检测

配合unittest使用实例

from django.test import TestCase
from selenium import webdriver
import time


class UserAuthTestCase(TestCase):
    @classmethod
    def setUpClass(cls):
        print("开始")

    @classmethod
    def tearDownClass(cls):
        print("结束")

    def setU

< Read more >

[ unittest自带测试库 ]


python自带unittest测试库

import unittest, sys, os
"""
1. 每个测试文件必须test_开头.py
2. 把要测试的内容引入进来, 方便
3. class必须继承TestCase
4. method必须以test_开头
"""
class TestSeleiumn(unittest.TestCase):

    @unittest.skipIf(sys.platform == "win32", "windows系统不允许")
    # @unitte

< Read more >

[ gerapy-scrapy可视化 ]


gerapy可视化爬虫

  1. 前提条件

    • 写好的scrapy爬虫项目
    • 安装, 并运行scrapyd提供项目对接端口6800
  2. 安装

pip install gerapy
  1. 初始化
    • 自动会创建可视化项目
gerapy init
  1. 生成数据库迁移
gerapy migrate
  1. 运行
gerapy runserver
  1. 主机管理
端口号写6800
  1. 项目管理
    1. 点击部署进入
    2. 打包项目把写好的scrapy导入, 打包成压缩包,或者直接复制项目到gerapy里的project文件夹里面
    3. 点击部署
  1. 执行
    1.

< Read more >

[ scrapy分布式爬虫基础 ]


scrapy基本使用

  1. 安装
pip install scrapy
  1. 创建项目
scrapy startporject 项目名
  1. 创建爬虫文件
cd 项目名 # 进入项目文件夹
scrapy genspider chf www.xxxx.com # chf是爬虫文件名, www.xxx.com是要爬的网站域名
  1. 运行
    • 保存为jsn文件
    • 保存为csv文件
scrapy crawl 爬虫文件名 -o wangzhan.json
或
scrapy crawl 爬虫文件名 -o wangzhan.csv

< Read more >

[ Python二维码生成 ]


python二维码生成

  • flask版本
  • fastapi版本
  • 记得安装库
# from flask import Flask, make_response
# import qrcode
# import io

# app = Flask(__name__)

# @app.route("/image")
# def index():
#     qr = qrcode.QRCode(
#         version=3,
#         error_correction=qrcode.ERROR_CORRECT_L,
#         box_size=10

< Read more >

[ Selenium参考文章 ]


参考文章

  1. 安装需要先下载驱动
from selenium.webdriver.common.action_chains import ActionChains # 导包。鼠标
from selenium import webdriver # 浏览器导包
import time #时间导包
from selenium.webdriver.common.by import By # 元素导包
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expecte

< Read more >