我要评论HuggingFace的DistilBERT学习笔记-顺序版学习
DistillBERT My Toolkit
学习Facebook的DistillBERT中所使用的工具包
python 代码规范
函数名、文件名、变量名：big_apple
类名：BigApple
导入argument后要进行sanity_checks(args)，包括 todo
os模块
# os.path.dirname/abspath/isdir/isfile/exits/join/curdir/
# os.getcwd() get current work directory
# os.mkdir("dir")
import os
shell_path = os.getcwd()
file_path_name = os.path.abspath(__file__)
file_path = os.path.dirname(os.path.abspath(__file__))
print(shell_path) #/home/zhangmengyu/distill
print(file_path_name) #/home/zhangmengyu/distill/test.py
print(file_path) #/home/zhangmengyu/distill
print(os.path.isfile(file_path_name)) #True
print(os.path.isdir(file_path)) #True
# create logs file folder
logs_dir = os.path.join(os.getcwd(), "logs") # '/home/zhangmengyu/distill/logs'
logs_dir = os.path.join(os.path.curdir, "logs") # './logs'
if os.path.exists(logs_dir) and os.path.isdir(logs_dir):
pass
else:
os.mkdir(logs_dir)
argparse 模块
主要用到了 type default required choices=[1,2] action=“store_true” help等参数
但是要注意，如果用了action=“store_true”，那么这个flag出现就是true，不出现就是false。
import argparse
parser = argparse.ArgumentParser(description="study argparse module")
parser.add_argument("--bool_arg", action="store_true", help="bool arg: use --bool_arg")
parser.add_argument("--str_arg", type=str, default="default arg", required=True, choices=["test1", "test2"], help="str arg: use --str_arg str")
parser.add_argument("--int_arg", type=int, default="default arg", required=True, choices=[1,2], help="str arg: use --int_arg int")
args = parser.parse_args()
print(args) # Namespace(bool_arg=True, int_arg=1, str_arg='test1')
# shell$ python test.py - -bool_arg - -str_arg test1 - -int_arg 1
logging 模块
用的比较多的是Logger Formatter Handler
import logging
import os
import logging.handlers
LEVELS = {'NOSET': logging.NOTSET,
'DEBUG': logging.DEBUG,
'INFO': logging.INFO,
'WARNING': logging.WARNING,
'ERROR': logging.ERROR,
'CRITICAL': logging.CRITICAL}
## choice 1 可以同时支持输出到console 输出到文件 输出到回滚文件##
# create logs file folder
logs_dir = os.path.join(os.getcwd(), "logs") # '/home/zhangmengyu/distill/logs'
logs_dir = os.path.join(os.path.curdir, "logs") # './logs'
if os.path.exists(logs_dir) and os.path.isdir(logs_dir):
pass
else:
os.mkdir(logs_dir)
# init logger
logger = logging.getLogger(__name__)
formatter = logging.Formatter("%(asctime)s - %(levelname)8s - %(name)10s - PID: %(process)d - %(message)s")
logger.setLevel(logging.INFO)
# define a rotating file handler
rotatingFileHandler = logging.handlers.RotatingFileHandler(
filename="test_rotating.txt",
maxBytes=1024 * 1024 * 50,
backupCount=5,
) # 新的run的log 会 append 到旧的里面
rotatingFileHandler.setFormatter(formatter)
logger.addHandler(rotatingFileHandler)
# define a handler whitch writes messages to sys
console = logging.StreamHandler()
console.setFormatter(formatter)
logger.addHandler(console)
# define a file handler
FileHandler = logging.FileHandler(
filename="test_file.txt",
mode="w",
)
FileHandler.setFormatter(formatter)
logger.addHandler(FileHandler)
## choice 2 ##
# 或者可以使用 basic config
# 要么输出到console 要么输出到文件 根据filename参数是否为空来决定 默认filemode="a"
logging.basicConfig(
format="%(asctime)s - %(levelname)s - %(name)s - PID: %(process)d - %(message)s",
datefmt="%m/%d/%Y %H:%M:%S",
level=logging.INFO,
)
logger = logging.getLogger(__name__)
## use logger example ##
logger.info(type(a))
logger.info(f"Saaaapecial tokens {a}")
logger.error("error XXX")
shutil 模块
shutil.rmtree(path) 递归的删除文件夹
深浅拷贝 地址引用还是值引用 函数 循环
todo这个内容理解的还不深刻，每次用到都会忘记。
核心是？引用的都是地址，不管是for aa in a还是函数，只不过当对地址里面的值进行操作的时候。如果遇到【数字 string tuple】不可变类型，则不会更改，如果遇到【list dict】可变类型则会修改。
有个例外，不管什么时候，不管是在for循环里还是在函数体里还是在main中，对变量进行重新赋值都会重新开辟空间，不会对原来的值进行修改。
a=[1,2,[3,4]]
b=a
b[0]=0
b[2][0]=0
a[1]=0
print(id(b))
print(id(a))
print(a) #[0, 0, [0, 4]]
print(b) #[0, 0, [0, 4]]
aa=0
a = [1, 2, 3]
for aa in a:
aa = 0
print(a) # [1,2,3]
for i in range(len(a)):
a[i] = 0
print(a) # [0, 0, 0]
读写 json pickle numpy torch等
json和pickle读写方式类似
numpy和torch读写方式类似
正常存储时把data存到f中，这就是正常的顺序
但是numpy 由于有一个np.savez(f, key_a=data_a, key_b=data_b)所以会导致numpy的顺序和其他三个不同
json
dumps是将dict转化成json字符串格式，loads是将json字符串转化成dict格式。
dump和load也是类似的功能，只是与文件操作结合起来了。
只能序列化python的object
with open(os.path.join(args.dump_path, "parameters.json"), "w") as f:
json.dump(vars(args), f, indent=4)
with open('data.json','r') as f:
data = json.load(f)
pickle
pickle序列化后的数据，可读性差，人一般无法识别。
可以序列化函数和类，但是要让pickle找到类或函数的定义
with open("test.txt","wb") as f:
pickle.dump(a, f) #重点在于rb和wb 二进制形式dump和load
with open("test.txt","rb") as f:
d = pickle.load(f)
numpy 要注意的是后缀npy npz要写对 不然会自动加上去
import numpy as np
a = np.random.random_sample([10,5])
np.save("./test.npy", a)
a_load = np.load("test.npy")
b = np.random.randint([2,1])
np.savez("./test.npz", aa=a, bb=b)
data=np.load("./test.npz")
print(data["aa"])
print(data["bb"])
torch
torch.save(data, path)
data = torch.load(path)
todo torch的DistributedParall多机多卡训练
from torch.utils.data.distributed import DistributedSampler
init_gpu_params(args)
set_seed(args)
todo from torch.utils.data import BatchSampler, DataLoader, RandomSampler, Dataset
看了一部分的Dataset和DataLoader，学到的知识暂时解了迷惑，但是还有很多地方没有学会，总要一点一点学习的
DataLoader是一个封装的类，可以看作一个黑盒子，这个黑盒子和DataLoadery一起配合使用，用来返回一个batch的tensor格式的数据。要注意什么时候是一个batch的tensor数据（即inputs.tensor，labels.tensor），什么时候是一个数据对（input, label），什么时候是一个list列表类型的数据（[input_1, label_1], [input_2, label_2]…）
对DataSet不管__init__的数据格式是怎么存储的，只需要实现__len__(self)和__getitem__(self, index)（输出index对应的一个数据对）和collate_fn（也就是例子代码的batch_sequence，实际上是用于DataLoader的collate_fn）
DataLoader的数据处理流大概是这样的，首先根据Dataset的__len__(self)和__getitem__(self, index)（输出index对应的一个数据对）和batch_size和sampler，输出一个list列表类型的数据（[input_1, label_1], [input_2, label_2]…），然后将这个list传递给collate_fn，collate_fn返回一个batch的tensor数据（即inputs.tensor，labels.tensor）
from torch.utils.data import BatchSampler, DataLoader, Dataset, RandomSampler
train_lm_seq_dataset = LmSeqsDataset(params=args, data=data)
if params.n_gpu <= 1:
sampler = RandomSampler(dataset)
else:
sampler = DistributedSampler(dataset)
my_dataloader = DataLoader(
dataset=train_lm_seq_dataset,
batch_sampler=sampler,
collate_fn=dataset.batch_sequences
)
class LmSeqsDataset(Dataset):
"""Custom Dataset wrapping language modeling sequences.
Each sample will be retrieved by indexing the list of token_ids and their corresponding lengths.
Input:
------
params: `NameSpace` parameters
data: `List[np.array[int]]
"""
def __init__(self, params, data):
self.params = params
self.token_ids = np.array(data)
self.lengths = np.array([len(t) for t in data])
def __getitem__(self, index):
return (self.token_ids[index], self.lengths[index])
def __len__(self):
return len(self.lengths)
def batch_sequences(self, batch):
"""
Do the padding and transform into torch.tensor.
"""
token_ids = [t[0] for t in batch]
lengths = [t[1] for t in batch]
assert len(token_ids) == len(lengths)
# Max for paddings
max_seq_len_ = max(lengths)
# Pad token ids
if self.params.mlm:
pad_idx = self.params.special_tok_ids["pad_token"]
else:
pad_idx = self.params.special_tok_ids["unk_token"]
tk_ = [list(t.astype(int)) + [pad_idx] * (max_seq_len_ - len(t)) for t in token_ids]
assert len(tk_) == len(token_ids)
assert all(len(t) == max_seq_len_ for t in tk_)
tk_t = torch.tensor(tk_) # (bs, max_seq_len_)
lg_t = torch.tensor(lengths) # (bs)
return tk_t, lg_t
todo tqdm
这是一个看起来最高大上，用起来也最高大上的，学起来最简单的一个工具包呀
和for aa in a:是相同的，不同的是可以定义desc 可以定义disable=True则不显示进度条
from tqdm import tqdm
char_test = [11,22,33,44,55,66,77,88,99]
import time
tchar = tqdm(char_test,desc="desc", disable=False)
for t in tchar: # 或者for t in trange(100):
time.sleep(1.0)
print(f"processing {t}")
# desc: 22%|████████▋ | 2/9 [00:02<00:07, 1.00s/it]processing 33
todo optimizer
本文地址：https://blog.csdn.net/weixin_43526074/article/details/107636816
如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！
网友评论