本文重点介绍了一些 VLM 早期的代表性工作。其中,CLIP作为视觉语言模型(VLM)的基础和开山之作,创新性提出了ITC对比损失用于对齐图片级视觉和语言Embedding,但它只能完成判断,无法完成生成式任务。之后BLIP的出现补足了生成的能力,后来Flamingo、LLaVA和BLIP2进一步充分利用了LLM的生成能力,但它们三个都只能生成文字,并且对视觉部分缺乏监督。Emu进一步补足了图片生成的能力,并创新性提出了一种自回归图片tokens的目标。上述模型针对的图片输入都是全图输入,Shikra和chatSpot则提出了可以接受点和框询问特定位置的MLLM,这种能力被称为Referential对话的能力。Donut和Nogat则特别针对OCR任务提出。同时,本文也对VLM领域多个任务的常见数据集和benchmark做了简要介绍,以方便读友看论文时参考。

⚠️注意:本文信息几乎截止至2023.8.31,部分内容已缺乏时效性,不具备足够的参考价值

- 阅读剩余部分 -

OTB数据集中的指标:

  1. Distance Precision Rate (DPR)越大越好,DPR代表预测框的中心和gt框中心的距离小于阈值$\alpha$的比例,大部分数据集$\alpha=5$,少数是20。

  2. Overlap Success Rate (OSR)越大越好,OSR代表预测框和gt的IoU大于阈值$\beta$的比例,大部分数据集$\beta=0.5$。

  3. AUC: area under curve 成功率图的曲线下面积,成功率图指随着$beta$的变化,OSR的变化曲线图。越大越好。

  4. OP50:$\beta=0.5$时的OSR。越大越好。

  5. OP75:$\beta=0.75$时的OSR。越大越好。

- 阅读剩余部分 -

这篇文章中包含了基础python中的常用代码小抄,包括:

  • python中文件的按顺序列出;
  • 写入、写出txt,json和pkl、移动文件的常用代码;
  • 常用正则表达;
  • 进程池的示例代码。

- 阅读剩余部分 -

跟踪中的任务主要有:

  • 多目标跟踪(Multi Object Tracking, MOT)
  • 单目标跟踪(Single Object Tracking, SOT)
  • 多目标跟踪分割(Multi Object Tracking and Segmentation, MOTS)
  • 视频目标分割(Video Object Segmentation, VOS)

这里,我暂时先不关心分割的任务。以下是MOT和SOT的对比:

Tasks Reference Class Tracks per video Typical Inputs Representative Methods
MOT No specific Tens or hundreds High-resolution Whole Image Detection+Association
SOT Initial box agnostic One Small search region One-Shot Detection

可以看到两个任务之间的gap还是比较大的,总结一下,阻碍SOT和MOT两个任务统一的主要有三座大山:

  1. 被跟踪目标的属性不同(参考帧给定的一个任意类别的目标 VS 几十几百特定类别的目标);
  2. SOT和MOT关注的对应关系不同(SOT关注目标和背景的区分,MOT关注目标和轨迹的对应);
  3. 不同的输入(SOT输入为小的搜索范围,以节省计算量和消除潜在的干扰;MOT输入为高分辨率的全图,以尽可能检测到所有实例)。

大一统的目标跟踪这里是指,仅需要一套模型及参数,就可以在各个任务上取得优异的表现。我将介绍两个工作的这部分内容,看看它们是怎么翻过这些大山的。

- 阅读剩余部分 -

作为一名AI从业者,你选购电脑是否有过这样的苦恼:轻薄本便携 续航久,但GPU和散热弱;游戏本GPU比较强,但比较重、续航短;台式机高配置、硬盘空间大,但不能带出门;商业的GPU服务器租赁要不就是使用有要求,要不就是贵的离谱,还要担心商家提桶跑路 or 涨价 or 欠费停机数据被删。作为一个成熟但财力有限的开发者,想全都要,比较好的一种方式是买轻薄本+台式机。但拥有多台设备后,依然存在一些痛点问题,比如资料分散在两台电脑、出门在外依然难以查看实验结果。本文博主以自身经验为例,给出轻薄本+ubuntu台式机+frp ssh的配置指南,供大家选择性参考。

- 阅读剩余部分 -

随着ChatGPT的流行,不少人都有了用它来提高工作效率的需求。然而,不同的引导词(prompt)提示下,同一模型的输出结果可能大相径庭,好的prompt能释放模型的潜力,得到更有用的输出。本博文提供了一些使用的技巧和常用的prompt示例,本文持续更新……希望大家多多尝试,在评论区踊跃交流经验~

- 阅读剩余部分 -

Detection Transformer 是从2020年开始的一种全新的端到端的目标检测范式,图片通过CNN提取特征,然后将提取的特征展平输入transformer encoder-decoder,然后通过一系列查询,检测头输出每个查询的结果。查询的数量通常为100、300或900,远远少于之前的检测算法中的密集预测。

- 阅读剩余部分 -

论文:BoT-SORT: Robust Associations Multi-Pedestrian Tracking

代码:https://github.com/NirAharon/BOT-SORT

本篇工作达到了2022年MOT17和MOT20两个数据集的新SOTA。该方法是基于ByteTrack的改进,论文主要包括三个点:一是更改了卡尔曼滤波器中的状态向量(MOTA +0.01%, IDF1 +0.12%, HOTA +0.24%),二是添加了相机运动补偿(MOTA +0.64%, IDF1 +1.62%, HOTA +0.94%),三是提出了一种IoU和ReID余弦距离的融合方法(使用ReID MOTA +0.07%, IDF1 +0.54%, HOTA +0.06%)。标出的性能提升为在MOT17验证集的结果。接下来介绍一下这三个点的实现细节:

- 阅读剩余部分 -

论文:(WACV 2023) Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

本工作(记作C-BIoU:Cascade Buffered IoU)主要用于不规则运动与不可区分的外观两个问题叠加的MOT场景。本工作提出的方法极为简单,但非常有效,实现了MOT 17、DanceTrack、SoccerNet、GMOT-40 四个数据集上的最新SOTA!本文提出两个创新点:一是提出用级联-BIoU实现相邻帧中不重叠的检测和轨迹的匹配(IDF1 +5.7%, HOTA +3.6%);二是用前n帧的平均运动代替卡尔曼滤波实现运动估计(IDF1 +1.2%, HOTA +1.5%),这样可以消除卡尔曼滤波中的线性运动假设以及相机运动带来的估计误差。标出的性能提升为在DanceTrack验证集的结果。

- 阅读剩余部分 -