标签 "Python3" 相关文章

总计 2 页,当前第 1 页
Python开发

Python3 爬虫搜索 gitlab 项目

背景在项目需要重构时,需要检索公司中的项目的影响范围,比如项目需要摘除 pom.xml 中依赖 old-order-api 的依赖包,检索出所有项目那里用到了这个包;再比如之前公司项目的搜索引擎有大量使用 solr 的实现,现在需要重构把所有 solr 的地方,统统修改为 elasticsearch,这也需要检索所有项目。实现方案方案1:通过 gitlab 在线一个个项目检索,缺点很明显,速度慢,不可复用方案2:通过脚本爬虫方式来检索,...
2年前 (2022-08-14) 阅读(1200) 赞一个 (1) 评论(0) 链接直达
Python开发

Python3 清理 .m2/repository 目录中废弃的 maven 依赖包

一、背景作为 java 工程师,少不了配置 maven 依赖,有依赖必然会在本地配置仓库,默认的目录地址为.m2/repository,  这本身没有什么,但随着项目的逐步增多,版本的逐步升级迭代(每周稳步迭代将会产生52个版本的 jar 包),仓库的目录占空空间将无限膨胀,占用空间甚至能达到 10G 以上,而往往很多的依赖版本已经废弃很久,未来也可能用不上,设想一下你的项目都统一用 spring-core 5.x 版本了,你...
2年前 (2022-08-14) 阅读(1063) 赞一个 (1) 评论(0) 链接直达
Python开发

Python3版本号比较代码实现

1、版本号比较的困难不能直接以字符串形式进行比较:对于1.3和1.4直接以字符串进行比较是能够正确得出1.4比1.3大;但若是1.3和1.14还直接进字符串比较那就是1.3比1.14大那就不对了。函数不能直用用数值类型进行比较:若是版本号是1和2那能够自接以整型进行比较,若是是1.3和1.4能够直接以浮点型进行比较;但若是是1.3.1和1.4.1这种形式,那整型和浮点型都不能用了。2、版本号比较实现思路最关键的点就是每次取一节版本号、转...
2年前 (2022-08-13) 阅读(876) 赞一个 (0) 评论(0) 链接直达
Python开发

Python3 多线程批量对所有 gitlab 项目删除 target 目录

Python3 多线程批量对所有 gitlab 项目删除 target 目录当需要同时维护很多项目时,每个项目的 target 必定占用大量的磁盘空间,需要清理时一个个执行 mvn clean 的过程显然不是明智之举。所以使用一个小工具,来指定一个顶层项目文件夹,来进行递归查找 target 目录,有则自动程序清理,无则跳过,会非常方便。#!/usr/bin/python3 # -*- coding: U...
2年前 (2022-07-04) 阅读(861) 赞一个 (1) 评论(0) 链接直达
Python开发

Python3 多线程批量拉取 Gitlab 项目代码

背景可能你会遇到项目需要把你的项目组中所有的项目拉去到本地维护,如果项目不多一个一个手动的 git clone 还好,那如果项目有几百个呢?一个个 clone 本地可能就到下班时间了,第二天需要把这几百个项目在做 git pull 拉新代码,是不是很绝望?!所以一个脚本辅助能帮到我们很多。实现方式第一步:现将组下所有项目输出到Excel文件中#!/usr/bin/python3 # -*- coding: ...
2年前 (2022-06-30) 阅读(1210) 赞一个 (1) 评论(0) 链接直达
Python开发

Python3 查看Redis中所有未设置过期时间或时间过长的Key

做项目过程如果遇到缓存不一致的问题,通过RDM工具查询也能解决,但效率稍微慢了点,通常不允许缓存中存在过多未设置缓存时间的key,如果需要整理出哪些key需要手动清理,可以通过脚本来整理出来Bash脚本方式现将正则的key输入到文本文件,再进行迭代查看 ttl 输出控制台#!/bin/sh host=localhost port=6379 db=0 pwd=comall redis-cli -h $host...
2年前 (2022-06-30) 阅读(1496) 赞一个 (0) 评论(0) 链接直达
MySql

Python3 两个数据库所有表索引的对比验证

Python3 两个数据库所有表索引的对比验证接着上一篇文章继续说明:Python3 两个数据库触发器、存储过程、函数、视图、表结构、索引对比验证实现结果如下对比脚步实现#!/usr/bin/python3 # -*- coding: UTF-8 -*- import os import sys import pymysql from open...
2年前 (2022-06-26) 阅读(928) 赞一个 (2) 评论(0) 链接直达
MySql

Python3 两个数据库触发器、存储过程、函数、视图、表结构、索引对比验证

背景早期有一个saas服务的数据库,各租户的表结构内容完全相同,由于某大客户租户的业务较广,从集中管理的租户中独立出来做私有化的业务(gitlab代码仓库、db 数据库、服务器来单独部署)。几年间,私有化的租户db和其他租户db管理就有了较大差异化。由于业务变更,私有化的管理方式要切换回集中租户管理方式,所以要评估出将私有化的业务和db表结构之前差异点。问题这里跳过其他业务内容对比,说一下db之间怎么整理出差异点,然后由差异点来生成 a...
2年前 (2022-06-25) 阅读(888) 赞一个 (2) 评论(0) 链接直达
Python开发

Python下载文件的11种方式

在本教程中,你将学习如何使用不同的Python模块从web下载文件。此外,你将下载常规文件、web页面、Amazon S3和其他资源。最后,你将学习如何克服可能遇到的各种挑战,例如下载重定向的文件、下载大型文件、完成一个多线程下载以及其他策略。使用Requests你可以使用requests模块从一个URL下载文件。考虑以下代码:你只需使用requests模块的get方法获取URL,并将结果存储到一个名为“myfile”的变量中。然后,将...
4年前 (2020-07-19) 阅读(2449) 赞一个 (0) 评论(0) 链接直达
Python开发

GitHub 标星 20K+:What the fuck Python?!

经常逛GitHub的可能关注一个牛叉的项目,叫 What the f*ck Python!这个项目列出了几乎所有python中那些鲜为人知的功能特性,有些功能第一次遇见时,你会冒出 what the f**k 的感叹。因为这些例子看起来反人类直觉。但是如果你理解了它背后的真正原理,你又会惊叹what the f**k, 竟然还有这么骚的操作。来看看几个例子吧。微妙的字符串>>> a = &...
4年前 (2020-06-20) 阅读(1549) 赞一个 (1) 评论(0) 链接直达

程序喵 www.ibloger.net

文章归档 站内留言 给我写信 文章订阅