轻松进行自监督学习 BYOL (可以自我监督的软件)
译者：AI研习社（ 季一帆 ）
双语原文链接： Easy Self-Supervised Learning with BYOL
自监督学习
在中，经常遇到的问题是没有足够的标记数据，而手工标记数据耗费大量时间且人工成本高昂。基于此，自我监督学习成为深度学习的研究热点，旨在从未标记样本中进行学习，以缓解数据标注困难的问题。子监督学习的目标很简单，即训练一个模型使得相似的样本具有相似的表示，然而具体实现却困难重重。经过谷歌这样的诸多先驱者若干年的研究，子监督学习如今已取得一系列的进步与发展。
在BYOL之前，多数自我监督学习都可分为对比学习或生成学习，其中，生成学习一般GAN建模完整的数据分布，计算成本较高，相比之下，对比学习方法就很少面临这样的问题。对此，BYOL的作者这样说道：
为了实现对比方法，我们必须将每个样本与其他许多负例样本进行比较。然而这样会使训练很不稳定，同时会增集的系统偏差。BYOL的作者显然明白这点：
不仅仅是颜色失真，其他类型的数据转换也是如此。一般来说，对比训练对数据的系统偏差较为敏感。在机器学习中，数据偏差是一个广泛存在的问题（见 facial recognition for women and minorities ），这对对比方法来说影响更大。不过好在BYOL不依赖负采样，从而很好的避免了该问题。
BYOL：Bootstrap Your Own Latent(发掘自身潜能)
BYOL的目标与对比学习相似，但一个很大的区别是，BYOL不关心不同样本是否具有不同的表征（即对比学习中的对比部分），仅仅使相似的样品表征类似。看上去似乎无关紧要，但这样的设定会显著改善模型训练效率和泛化能力：
BYOL最小化样本表征和该样本变换之后的表征间的距离。其中，不同变换类型包括0：平移、旋转、模糊、颜色反转、颜色抖动、高斯噪声等（我在此以图像操作来举例说明，但BYOL也可以处理其他数据类型）。至于是单一变换还是几种不同类型的联合变换，这取决于你自己，不过我一般会采用联合变换。但有一点需要注意，如果你希望训练的模型能够应对某种变换，那么用该变换处理训练数据时必要的。
首先是数据转换增强的编码。BYOL的作者定义了一组类似于SimCLR的特殊转换：
| import randomfrom typing import Callable, Tuplefrom kornia import augmentation as augfrom kornia import filtersfrom kornia.geometry import transform as tfimport torchfrom torch import nn, Tensorclass RandomApply(nn.Module):def __init__(self, fn: Callable, p: float):super().__init__()self.fn = fnself.p = pdef forward(self, x: Tensor) -> Tensor:return x if random.random() > self.p else self.fn(x)def default_augmentation(image_size: Tuple[int, int] = (224, 224)) -> nn.Module:return nn.Sequential(tf.Resize(size=image_size),RandomApply(aug.ColorJitter(0.8, 0.8, 0.8, 0.2), p=0.8),aug.RandomGrayscale(p=0.2),aug.RandomHorizontalFlip(),RandomApply(filters.GaussianBlur2d((3, 3), (1.5, 1.5)), p=0.1),aug.RandomResizedCrop(size=image_size),aug.Normalize(mean=torch.tensor([0.485, 0.456, 0.406]),std=torch.tensor([0.229, 0.224, 0.225]),),) |
上述代码通过实现数据转换，这是一个基于 PyTorch 的可微分的计算机视觉开源库。当然，你可以用其他开源库实现数据转换扩充，甚至是自己编写。实际上，可微分性对BYOL而言并没有那么必要。
接下来，我们编写编码器模块。该模块负责从基本模型提取特征，并将这些特征投影到低维隐空间。具体的，我们通过wrapper类实现该模块，这样我们可以轻松将BYOL用于任何模型，无需将模型编码到脚本。该类主要由两部分组成：
特征抽取，获取模型最后一层的输出。
映射，非线性层，将输出映射到更低维空间。
特征提取通过hooks实现（如果你不了解hooks，推荐阅读我之前的介绍文章 How to Use PyTorch Hooks )。除此之外，代码其他部分很容易理解。
| from typing import Uniondef mlp(dim: int, projection_size: int = 256, hidden_size: int = 4096) -> nn.Module:return nn.Sequential(nn.Linear(dim, hidden_size),nn.BatchNorm1d(hidden_size),nn.ReLU(inplace=True),nn.Linear(hidden_size, projection_size),)class EncoderWrapper(nn.Module):def __init__(self,model: nn.Module,projection_size: int = 256,hidden_size: int = 4096,layer: Union[str, int] = -2,):super().__init__()self.model = modelself.projection_size = projection_sizeself.hidden_size = hidden_sizeself.layer = layerself._projector = Noneself._projector_dim = Noneself._encoded = torch.empty(0)self._register_hook()@propertydef projector(self):if self._projector is None:self._projector = mlp(self._projector_dim, self.projection_size, self.hidden_size)return self._projectordef _hook(self, _, __, output):output = output.flatten(start_dim=1)if self._projector_dim is None:self._projector_dim = output.shape[-1]self._encoded = self.projector(output)def _register_hook(self):if isinstance(self.layer, str):layer = dict([*self.model.named_modules()])[self.layer]else:layer = list(self.model.children())[self.layer]layer.register_forward_hook(self._hook)def forward(self, x: Tensor) -> Tensor:_ = self.model(x)return self._encoded |
BYOL包含两个相同的编码器网络。第一个编码器网络的权重随着每一训练批次进行更新，而第二个网络（称为“目标”网络）使用第一个编码器权重均值进行更新。在训练过程中，目标网络接收原始批次训练数据，而另一个编码器则接收相应的转换数据。两个编码器网络会分别为相应数据生成低维表示。然后，我们使用多层感知器预测目标网络的输出，并最大化该预测与目标网络输出之间的相似性。
图源： Bootstrap Your Own Latent
也许有人会想，我们不是应该直接比较数据转换之前和之后的隐向量表征吗？为什么还有设计多层感知机？假设没有MLP层的话，网络可以通过将权重降低到零方便的使所有图像的表示相似化，可这样模型并没有学到任何有用的东西，而MLP层可以识别出数据转换并预测目标隐向量。这样避免了权重趋零，可以学习更恰当的数据表示！
训练结束后，舍弃目标网络编码器，只保留一个编码器，根据该编码器，所有训练数据可生成自洽表示。这正是BYOL能够进行自监督学习的关键！因为学习到的表示具有自洽性，所以经不同的数据变换后几乎保持不变。这样，模型使得相似示例的表示更加接近！
接下来编写BYOL的训练代码。我选择使用 Pythorch Lightning 开源库，该库基于PyTorch，对项目非常友好，能够进行多GPU培训、实验日志记录、模型断点检查和混合精度训练等，甚至 在cloud TPU上也支持基于该库运行PyTorch模型 ！
| from copy import deepcopyfrom itertools import chainfrom typing import Dict, Listimport pytorch_lightning as plfrom torch import optimimport torch.nn.functional as fdef normalized_mse(x: Tensor, y: Tensor) -> Tensor:x = f.normalize(x, dim=-1)y = f.normalize(y, dim=-1)return 2 - 2 * (x * y).sum(dim=-1)class BYOL(pl.LightningModule):def __init__(self,model: nn.Module,image_size: Tuple[int, int] = (128, 128),hidden_layer: Union[str, int] = -2,projection_size: int = 256,hidden_size: int = 4096,augment_fn: Callable = None,beta: float = 0.99,**hparams,):super().__init__()self.augment = default_augmentation(image_size) if augment_fn is None else augment_fnself.beta = betaself.encoder = EncoderWrapper(model, projection_size, hidden_size, layer=hidden_layer)self.predictor = nn.Linear(projection_size, projection_size, hidden_size)self.hparams = hparamsself._target = Noneself.encoder(torch.zeros(2, 3, *image_size))def forward(self, x: Tensor) -> Tensor:return self.predictor(self.encoder(x))@propertydef target(self):if self._target is None:self._target = deepcopy(self.encoder)return self._targetdef update_target(self):for p, pt in zip(self.encoder.parameters(), self.target.parameters()):pt.data = self.beta * pt.data + (1 - self.beta) * p.data# --- Methods required for PyTorch Lightning only! ---def configure_optimizers(self):optimizer = getattr(optim, self.hparams.get("optimizer", "Adam"))lr = self.hparams.get("lr", 1e-4)weight_decay = self.hparams.get("weight_decay", 1e-6)return optimizer(self.parameters(), lr=lr, weight_decay=weight_decay)def training_step(self, batch, *_) -> Dict[str, Union[Tensor, Dict]]:x = batch[0]with torch.no_grad():x1, x2 = self.augment(x), self.augment(x)pred1, pred2 = self.forward(x1), self.forward(x2)with torch.no_grad():targ1, targ2 = self.target(x1), self.target(x2)loss = torch.mean(normalized_mse(pred1, targ2) + normalized_mse(pred2, targ1))self.log("train_loss", loss.item())return {"loss": loss}@torch.no_grad()def validation_step(self, batch, *_) -> Dict[str, Union[Tensor, Dict]]:x = batch[0]x1, x2 = self.augment(x), self.augment(x)pred1, pred2 = self.forward(x1), self.forward(x2)targ1, targ2 = self.target(x1), self.target(x2)loss = torch.mean(normalized_mse(pred1, targ2) + normalized_mse(pred2, targ1))return {"loss": loss}@torch.no_grad()def validation_epoch_end(self, outputs: List[Dict]) -> Dict:val_loss = sum(x["loss"] for x in outputs) / len(outputs)self.log("val_loss", val_loss.item()) |
上述代码部分源自Pythorch Lightning提供的示例代码。这段代码你尤其需要关注的是training_step，在此函数实现模型的数据转换、特征投影和相似性损失计算等。
实例说明
下文我们将在 STL10数据集 上对BYOL进行实验验证。因为该数据集同时包含大量未标记的图像以及标记的训练和测试集，非常适合无监督和自监督学习实验。STL10网站这样描述该数据集：
通过 Torchvision 可以很方便的加载STL10，因此无需担心数据的下载和预处理。
| from torchvision.datasets import STL10from torchvision.transforms import ToTensorTRAIN_DATASET = STL10(root="data", split="train", download=True, transform=ToTensor())TRAIN_UNLABELED_DATASET = STL10(root="data", split="train+unlabeled", download=True, transform=ToTensor())TEST_DATASET = STL10(root="data", split="test", download=True, transform=ToTensor()) |
同时，我们使用监督学习方法作为基准模型，以此衡量本文模型的准确性。基线模型也可通过Lightning模块轻易实现：
| class SupervisedLightningModule(pl.LightningModule):def __init__(self, model: nn.Module, **hparams):super().__init__()self.model = modeldef forward(self, x: Tensor) -> Tensor:return self.model(x)def configure_optimizers(self):optimizer = getattr(optim, self.hparams.get("optimizer", "Adam"))lr = self.hparams.get("lr", 1e-4)weight_decay = self.hparams.get("weight_decay", 1e-6)return optimizer(self.parameters(), lr=lr, weight_decay=weight_decay)def training_step(self, batch, *_) -> Dict[str, Union[Tensor, Dict]]:x, y = batchloss = f.cross_entropy(self.forward(x), y)self.log("train_loss", loss.item())return {"loss": loss}@torch.no_grad()def validation_step(self, batch, *_) -> Dict[str, Union[Tensor, Dict]]:x, y = batchloss = f.cross_entropy(self.forward(x), y)return {"loss": loss}@torch.no_grad()def validation_epoch_end(self, outputs: List[Dict]) -> Dict:val_loss = sum(x["loss"] for x in outputs) / len(outputs)self.log("val_loss", val_loss.item()) |
可以看到，使用Pythorch Lightning可以方便的构建并训练模型。只需为训练集和测试集创建
DataLoader
对象，将其导入需要训练的模型即可。本实验中，epoch设置为25，学习率为1e-4。
|
from os import cpu_countfrom torch.utils.data import>经训练，仅通过一个非常小的模型ResNet18就取得约85%的准确率。但实际上，我们还可以做得更好！
接下来，我们使用BYOL对ResNet18模型进行预训练。在这次实验中，我选择epoch为50，学习率依然是1e-4。注：该过程是本文代码耗时最长的部分，在K80 GPU的标准COLAb中大约需要45分钟。
|
本文地址： https://www.gpxz.com/article/fa863e3f6ae90fcda8fb.html
欢迎访问问卷星,免费使用创建问卷调查,在线考试,360度评估等应用,问卷星提供2700万问卷调查模板包括顾客满意度调查,大学生问卷调查等,统计分析报告和原始答卷可免费下载,问卷星支持手机填写,微信群发,红包抽奖,自定义域名等功能,超过18亿人次在问卷星上填写问卷调查,欢迎了解!
泛华保网，中国知名在线投保交易平台，网上买保险的明智选择，目前保网提供中外20多家保险公司的近400多款特色产品，涵盖意外险、旅游险、健康险、家财险等。为客户提供投保、咨询、理赔等全方位专业服务
ITBUER综合技术交流社区,创建于2022年,包含原创博客、技术问答、教程资讯、资源下载等产品和服务,坚持打造原创、优质、内容完整的技术交流社区.
深圳市卓和光电有限公司
东莞市信准检测技术服务有限公司专门从事CPC认证、reach、rohs、CE认证、UL认证、CE认证、FCC认证、3C认证、CCC认证、CPC证书、能效标签、灯具ERP、ERP能效、UL检测报告、质检报告、亚马逊认证、ISO认证、ETL认证纺织品、鞋类、皮革、玩具、汽车材料、塑胶五金、食品接触材料等多项检测服务，为满足众多行业和产品，提供全面的解决方案，提高企业竞争优势，满足其对产品的更高要求，提供了强有力的保障。
一雄六堡茶，广西梧州六堡茶产地，正宗优质黑茶苍梧六堡茶批发，零售，厂家品牌低价加盟招商，欢迎大家前来品茶、参观洽谈。
秀汇网提供明星娱乐八卦,娱乐新闻,影视资讯,影视明星,明星八卦,影视资讯,历史杂谈,生活常识,八卦爆料,生活资讯,社会百态等。
南通德润工业介质技术有限公司专业生产热处理淬火油，淬火剂,热处理淬火油,热处理油,PAG,快速光亮淬火油,等温淬火油、水溶性淬火液等，同时与之相关的清洗剂，防锈剂和热处理余热发黑剂等众多系列产品。
山东德采机械制造有限公司(电话:15969710878,13181808796)专业从事济南、泰安地区的静电喷涂,喷塑加工,公司可针对不同客户需求制定不同的喷涂方案,欢迎来电咨询.
CmsTop是国内领先的媒体网站内容管理系统（CMS），主要服务于网络媒体、报业、杂志、广电、政府和大中型企业等，目前已服务了超过百家知名媒体网站。
上海荣熠生物科技有限公司(www.ronyeebio.com)先后推出了纯蒸汽取样器、风冷型纯蒸汽取样器、SmartSC纯蒸汽取样器、超净TOC进样瓶、无菌无热原取样勺/原取样瓶、无菌取样袋、无菌取样棉签、灭菌防护眼罩、无菌成品培养基、蒸汽灭菌袋等多种制药行业专用配套产品。联系电话：021-64975517
浙江艾罗网络能源技术股份有限公司（股票代码：688717）成立于2012年，面向全球客户提供逆变器、储能电池、光储系统等产品，覆盖家庭、工商业、地面电站全应用场景。艾罗能源致力于成为客户信赖的智慧能源全球引领者。
暑假在即，很多小玩家们又可能会有很多时间来玩了，那么朋友们可能本着提高孩子智力的目的会希望有一些能够培养数学思维的游戏来让孩子们不仅可以玩，还能在玩的时候得到一些收获，今天小编就给大家准备了几款这样的游戏，玩起来以数字为主，让孩子们玩和学两不误，这类大家肯定都有一定的了解了，怎么玩不必多说，这款游戏就在此基础上增加了很多不同个难度，让...。
随着全球旅游业的快速复苏和中国市场的崛起，高星级酒店行业正迎来商机，在这个竞争激烈的市场中，雅高瑞享酒店凭借其独特的品牌理念和服务水平，成为了创业者们追求优选，这家瑞士品牌的崛起正在带领创业者探寻高星级酒店创业的无限商机，打造未来，雅高瑞享酒店是Accor酒店集团旗下的重要品牌之一，也是瑞士酒店业的骄傲，该品牌已覆盖全球27个国家，拥...。
10月28日，北京瑞莱智慧科技有限公司，简称，瑞莱智慧，宣布完成超3亿元人民币A轮融资，投资方包括蚂蚁集团、达泰资本、考拉基金等多家机构，据雷锋网了解，瑞莱智慧于2020年底刚完成数千万美元的Pre，A轮融资，由前海母基金、达泰资本、基石资本投资，老股东卓源资本、松禾资本跟投，截至目前，瑞莱智慧已完成四轮融资，估值达数十亿人民币，据...。
从算法为王到落地至上，如今AI圈的角逐，高手如云，战事胶着，其中一家叫摄星智能的企业，异军突起，出其不意地进入了大家的视线，在渐入正轨的AI界，它非常稚嫩，诞生于2018年9月，至今不足3岁；在遍地开花的AI场景，它剑走偏锋，专注军事，AI，率先成立军事智能研究院；在市场趋冷的VC圈，它速度惊人，短短2年间，获五次融资，据称，摄星跃跃...。
数字化时代下，大量设备入网、业务和数据上云，软件漏洞难以避免；大量入网的终端都成为外部攻击的入口和跳板；云上连接的大量核心业务、高价值数据也引起更多黑客关注，新时代下，网络攻防的主战场，仍旧离不开，终端，的对抗，在过去十多年里，端点安全仅仅指的是杀毒软件一种产品，而从产品形态讲，在端点是杀毒软件，在网络边界侧则是防火墙，业内主要的厂商...。
二十一中学是第三批国防教育特色学校天津市市级重点中学，办学特色，学校坚持以人为本，以人的发展为本的办学思路，主体发展型的育人模式，形成学校特色，师德建设中，坚持爱的原则，实施爱的方法，具备了竞争能力和合作精神，师资力量，现已拥有77个教学班，3800多名学生，其中有高级，特级教师，市级，国家级名教师，学科带头人和区级学科首席教师，近年...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为旭日广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在旭日广告联盟网站首页底部或友情链接位...。
十二星座按公历月份陈列，白羊座，3月21日－4月20日金牛座，4月21日－5月21日双子座，5月22日－6月21日巨蟹座，6月22日－7月22日狮子座，7月23日－8月23日处女座，8月24日－9月23日天秤座，9月24日－10月23日天蝎座，10月24日－11月22日射手座，11月23日－12月21日魔羯座，12月22日－1月20日...。
1，比亚迪M6，1098万2398万2，威麟V5，新上市的，7座948万1295万3，马自达5，万4，福特SMAX，稍微贵点，17万多5，瑞风，万假设非要15万以下，我觉得比亚迪M6靠谱点，8威霆飞驰威霆是一款十分适宜用于商务应酬的车型，由于这款车提供789座等多种车型可选，并且在宽阔的乘坐空间下即使是最后一排乘客也能够领有最温馨的乘...。
1、二手全顺6座车型空间很大很不错，售价五到六万元左右，它的特点1福特全顺6座属于商务车，商务车集轿车游览车和厢式货车的性能于一身，车内每个座椅都可调整，并有多种组合的模式，普通为57座2福特新世代全顺，2、您好，团体觉得不值，6年车龄的江铃全顺6座短轴中顶24汽油假设没有出现过大的意外，手续没有疑问，车子没有泡过水的状况下应该在四万...。
远征手游是一款仙侠国战3DMMORPG手机游戏，最近也是非常的火热，很多小伙伴刚下载游戏后，就有很多问题，比如什么职业强啊？坐骑在哪里啊？等等。所以小编今天给大家带来了一份远征手游新手指南，其中包括了游戏中绝大部分的常见问题，一起来看看吧！
一、聚焦之虹攻略钥匙的种类聚焦之虹攻略是一款由腾讯游戏发行的动作冒险游戏，游戏中有多种钥匙，玩家可以通过游戏的不同关卡获得不同的钥匙，以解开游戏中的谜题。普通钥匙：普通
今天小编就来为大家整理出来了2022一年级数学游戏有哪些，相信大家对于数字并不陌生，那么小伙伴们有没有玩过数字类的游戏呢，适当游玩数字游戏尤其是小孩子适当玩数字游戏对于智力开发与培养逻辑思维能力有着很大的帮助，最近也有不少玩家向小编咨询有没有经典的数字游戏推荐，下面小编就列举了一些，感兴趣的朋友快来看看其中有没有你所喜欢的游戏吧！1、...。
闲暇之余听音乐的人是比较多的，因为各种各样的音乐可以让人感受到快乐，也可以让整个心情都变得轻松愉悦，手机当中这样的软件也是必不可少的，那么免费下载无损音乐的软件app有哪些呢，今天为大家介绍几款，不仅有无损音乐和免费下载，还能免费听很好听的歌曲，不管喜欢听经典老歌还是喜欢听新歌，该软件里都能免费听到有新歌推荐内容，还有周榜月榜，可根据...。
丈夫为什么这么歹毒，真正的原因可能也只有他自己才知道，不过这个男子并不是好丈夫，因为她和这名女子的结婚证都是男子伪造的，并且还总是向女子要钱，还和女子的亲属借钱，后来有准备有预谋的害死了这个女子，虽然不知道他们之间到底发生了什么事情，可是女子刚刚为这个男子生下孩子不久就丢了性命，可见有的人心连畜生都不如，事情的经过到底是怎么样的呢，女...。
消息，10月24日，OPPO发布全新一代影像旗舰FindX8系列，这款全新一代影像旗舰，以其超轻薄直屏设计、无影抓拍、AI千里长焦等特性，彻底改变了用户的拍照体验，带来了，抬手就出片，抓拍氛围感，的全新影像体验，在发布会后，OPPO首席产品官刘作虎、Find系列产品负责人周意保、影像技术总监卓世杰、AI中心产品总监张峻、影像认知...。
10月13日下午黑鲨正式发布了其下半年的新机黑鲨4S系列，包括黑鲨4S及黑鲨4SPro，黑鲨4S及4SPro在外观上延续了黑鲨4系列的整体设计，正面为居中打孔屏，后盖上方为居中横置的摄像头模组，全系升级金属中框，配备磁动力升降肩键，重量方面黑鲨4S为210g，黑鲨4SPro为220g，黑鲨4S系列屏幕均为6.67英寸、FHD，分辨率、...。
