【EDA赛事】由EDAthon竞赛聊聊香港高校的EDA研究现状

原创 芯思想 2023-09-25 08:33

EDA作为集成电路产业的掌上明珠,代表了当今集成电路设计的最新发展方向,成为当今大规模集成电路设计必不可少的工具。EDA提供包括设计、仿真、分析验证等一系列芯片设计工具,大大减少了芯片设计所需的时间和人力。通过硬件描述语言,EDA工具可以自动实现对电路逻辑的编译、分割、布局、布线等流程。同时,伴随着集成电路制程技术的进步及创新设计流程的导入,也使得集成电路设计的难度急增,导致针对编译、分割、布局、布线等流程的算法设计与优化也成了EDA工具设计的重中之重。

EDAthon竞赛介绍

EDAthon竞赛是由IEEE CEDA香港分会联合香港高校主办的一项针对EDA算法优化的全天编程竞赛,涉及EDA领域中一些有趣且富有挑战性的课题。每支参赛队伍需由来自同一所学校的两名全日制研究生或高年级本科生组成,整个比赛要求参赛队伍综合运用EDA、计算机体系结构、以及机器学习等各方面知识和分析技巧来解决集成电路与系统中电子设计自动化问题,注重对参赛队伍的团队协同合作能力、队员解决问题的能力以及EDA应用程序的编程能力的考察。EDAthon竞赛旨在推广EDA并为EDA领域培养最优秀的学生和专业人才。

片来源:北京大学高能效计算与应用中心(首届EDAthon竞赛合影)

图片来源:上海科技大学信息科学与技术学院(第二届EDAthon竞赛现场)

每年的EDAthon竞赛设有五道赛题,主要来自以下五个领域:(1)芯片物理设计;(2)电路时序分析;(3)系统设计与分析;(4)逻辑综合与高层次综合;(5)新兴技术在EDA中的应用。参赛队伍可自行选择题目进行求解,总分最高者获得冠军。

连续6 个小时(9:00-15:00)的高强度比赛,对参赛队员的体质是个大考验。中午饭只能是在竞赛现场解决。

在比赛期间,参赛队伍将获得问题描述和一些样本的测试数据。比赛将使用隐藏的测试样例来判别程序的正确性。

比赛后,有一个小时的研讨会(15:30-16:30),五道题目相关的论文作者会对其论文做快速的讲解和答疑。

2017728日在香港中文大学举办首届EDAthon竞赛以来,至今共举办了七届,来自两岸三地乃至韩国、新加坡、印度的数十所知名高校包括北京大学、复旦大学、福州大学、南洋理工大学、清华大学、上海科技大学、台湾大学、台湾清华大学、香港科技大学、香港中文大学、浙江大学、中国科技大学等都组队参赛。

自举办以来,参赛队伍数量逐渐攀升,从首届的10支队伍已经成长至超过20支队伍;从首届的两岸三地高校,目前已有韩国、新加坡和印度的高校参与;同时EDAthon竞赛的赞助单位由2017年的Cadence独家,到2020年海思半导体加入赞助,2023年华大九天也加入了赞助队伍,这充分说明赛事的知名度和影响力日益扩大。

EDAthon竞赛历年奖项

首届EDAthon竞赛的第一名来自台湾大学,从第二届开始至今(2018-2023),来自中国内地的高校连续6年获得第一名,北京大学、清华大学各有2次,福州大学和上海科技大学各有1次。

第一名获奖团队介绍

2023年第一名是清华大学喻文健教授团队程佳文(21级直博生)、黄杰辰(22级直博生)这也是喻文健教授团队第二次获得EDAthon竞赛的第一名,上一次是2020年。

这二人组合在2021年就获得了第二名的成绩,而程佳文更是自2021年连续三年参赛。坚持就有回报。

黄杰辰2021年集成电路EDA设计精英挑战赛的最高奖麒麟杯(总冠军)队的成员。

程佳文2022年集成电路EDA设计精英挑战赛总决赛一等奖队的成员。

2022年的第一名是北京大学林亦波教授团队郭资政(22级直博生)、赵禹翔(22级博士生)

郭资政202263日,获得国际计算机学会(ACM2022年度学生科研竞赛Student Research Competition (SRC)全球决赛本科生组全球第一名(First Place);2021年获得SRC@ICCAD第一名;2022年郭博士个人组队参加第四届集成电路EDA设计精英挑战赛,荣获赛道第一名和总决赛菁英杯。目前郭博士已经在DACICCAD两大EDA顶会中发表一作8篇,在EDA顶刊TCAD上发表一作2篇,其中在本科阶段就发表顶会一作7篇和顶刊一作1篇。

2021年的第一名是上海科技大学哈亚军教授团队的两位20级硕士生李睿、李琳。2022年男女二人组还获得第四届集成电路EDA设计精英挑战赛一等奖和华为海思企业特别奖。2022年两人双双攻读博士学位!让我们祝福这对金童玉女!

李睿在上海科技大学读本科时期间就曾有一篇一作入选DAC2020

2020年第一名是清华大学喻文健教授团队杨定澄(19级直博生)、李凌劼(18级直博生)

李凌劼2023年博士毕业,目前就职商汤科技。

杨定澄作为主力队员的TSAIL队在GeekPwn 2019极棒安全极客大赛中获得CAAD图像对抗样本攻防赛的第一名。

2019年第一名是福州大学陈建利教授团队邹鹏(17级硕士生)、黄志鹏(18级博士生)

邹鹏EDA顶会DAC中发表一作3篇,于2023年在复旦大学博士毕业,加入上海立芯(福州大学/复旦大学陈建利教授创办的以布局布线为核心的EDA公司)。

黄志鹏EDA顶会DAC中发表一作3篇,2022年博士毕业后就职鹏城实验室,继续从事EDA的研究。

2018年第一名是北京大学罗国杰教授团队王丰(16级博士生)、何卓论(17级直博生)

王丰博士曾获得首届EDAthon竞赛第三名,在EDA顶会ICCAD中发表一作2篇,2021年毕业后加入上海立芯。

何卓论2017年直博生,2019年赴香港中文大学在余备教授团队攻读博士,从2021年至今,已经在DACICCAD两大EDA顶会中发表一作3篇,2023年在ICCAD有一篇邀请报告。

香港高校EDA研究现状

香港高校包括香港中文大学、香港科技大学、香港大学、香港城市大学、香港理工大学等都在EDA的教学和研发方面有所布局,为内地EDA领域培养了许多优秀的人才,学术界包括北京大学张立宁助理教授、湖南大学贺旭教授、南方科技大学陈全助理教授、上海交通大学赵杰茹助理教授等,产业界包括陈耿杰、贝泽华、魏星等。

目前香港高校中从事EDA研究的中青年骨干大都是从国内赴海外深造,而后到香港执教的。当然有些高校已经几乎放弃了传统EDA的研究。

一、香港中文大学

香港中文大学的EDA教学和研究可以追溯到1990年代,当时的带头人是1995年从IBM回香港的黄泽权(Chak-Kuen Wong)教授。1996年出版EDA经典教材《An Introduction to VLSI Physical Design》,之后香港中文大学就逐步建立起了世界级的EDA研究团队。

目前,香港中文大学EDA团队属于计算机科学与工程学系(CSE),包括1IEEE Fellow(杨凤如教授),其他成员还有何宗易教授、徐强教授、邵子立教授、余备副教授、杨明昌助理教授。团队研究范围全栈式覆盖了系统设计、架构设计、逻辑物理综合、测试与验证、制造与封装等EDA领域。

香港中文大学第一篇EDA领域国际顶会论文发表在DAC1981,截止20239月,香港中文大学共计在EDA 领域国际顶级会议DACICCAD发表一作论文116篇;团队成员也多次荣获顶会和顶级期刊的最佳论文:2012 DAC 最佳论文、2013 ICCAD 最佳论文、2015 TCADEDA世界顶刊)最佳论文、2017 ICCAD 最佳论文、2021 ICCAD 最佳论文。

在历年CAD Contest@ICCAD CAD竞赛中产生的34个第一名中,香港中文大学获得11个(占比超过32%),成绩遥遥领先于世界其他顶级高校。在Contest@ISPD竞赛中也获得了2个第一名。

作为EDA强校,香港中文大学不但在学术上取得了代表性研究成果,同时在工业转化上也走在前列,师生共同创办的奇捷科技(Easy-Logic)专注ECO工具。

二、香港科技大学

香港科技大学的EDA教学和研究可以追溯到1990年代,当时的带头人是1993年从伯克利大学(UC Berkeley)回香港的高秉强(Ping Keung Ko)教授,担任工学院院长。1995年高秉强教授的弟子陈文新(Mansun Chan)也从伯克利大学转到香港科技大学。师生二人联手让香港科技大学在MOS器件和物理建模以及集成电路可靠性方面的工作享誉世界。高教授的成就不仅仅是在学术方面,而且在投资圈也留下了浓墨重彩的一笔。

目前,香港科技大学EDA团队属于电子及计算机工程学系(ECE),包括有陈文新教授、郑光廷教授(葛守仁先生的弟子)、张薇教授、须江教授、张弘策助理教授、谢知遥助理教授。

截止20239月,香港科技大学共计在EDA 领域国际顶级会议DACICCAD发表一作论文16篇;也荣获过顶会的最佳论文:2017 ICCAD 最佳论文、2022 ICCAD 最佳论文。

三、香港大学

香港大学从事EDA研究工作的有黄毅(Ngai Wong)副教授,属于电机电子工程系(EEE);黄教授在博士毕业后赴普渡大学访问,于2003年底回到母校执教,主要从事电路模型(模型降阶)和电迁移的工作。

截止20239月,香港大学共计在EDA 领域国际顶级会议DACICCAD发表一作论文17篇。

据悉,香港大学的化学系也有从事量子计算的建模工作。

四、香港城市大学

香港城市大学从事EDA研究工作的主要是薛春(Chun Jason Xue)教授,之前主要是HLS方向,现在已经逐渐淡出。

截止20239月,香港城市大学共计在EDA 领域国际顶级会议DAC发表一作论文8篇。

五、香港理工大学

香港理工大学之前从事EDA研究工作的主要是邵子立(Zili Shao)教授。但随着2018年邵教授加入香港中文大学,香港理工大学也退出了传统EDA领域的研究。

截止20239月,香港理工大学共计在EDA 领域国际顶级会议DAC发表一作论文6篇。

综合上述情况,可以说,目前香港高校有团队在从事EDA研究和人才培养的就只有香港中文大学和香港科技大学。


特别鸣谢香港中文大学余备副教授、鹏城实验室李兴权副研究员的大力支持。

芯思想 中国半导体正能量传播平台。为中国半导体产业服务,我们都是中国半导体产业腾飞的见证人。新闻分析,精彩评论,独家数据,为您定制信息,欢迎拍名片回复,和行业精英交流。
评论 (0)
  • Wayking RadarSensors_LRR7710_中英文产品手册
    Wayking RadarSensors_LRR7710_中英文产品手册
  • 基于单片机的TFT-LCD液晶显示控制芯片选型表
    基于单片机的TFT-LCD液晶显示控制芯片选型表
  • CS5511芯片设计原理图
    CS5511的LVDS输出可以配置为在120 Hz时支持高达1920x1080或在100 Hz时支持1920x1200。CS5511 LVDS接口支持单端口和双端口模式。CS5511具有5个配置引脚,可支持32个不同面板分辨率和LVDS工作模式与一个闪光图像的组合。
  • 安科瑞 ASCB1系列智能微型断路器样本
    ASCB1 系列智能微型断路器是安科瑞电气股份有限公司全新推出的智慧用电产品,产品由智能微型断路器与智能网关两部分组成,可用于对用电线路的关键电气因素,如电压、电流、功率、温度、漏电、能耗等进行实时监测,具有远程操控、预警保护、短路保护、电能计量统计、故障定位等功能,应用于户内建筑物及类似场所的工业、商业、民用建筑及基础设施等领域低压终端配电网络。
  • 基于单片机的工业级液晶图形显示控制芯片RA8889ML3N-Datasheet
    TFT-LCD液晶显示控制芯片RA8889ML3N的优势:
    低功耗及功能强大:这款芯片最大支持分辨率为1366x2048,内置128Mb SDRAM,可为内容显示进行快速刷新,同时内置视频解码单元,支持JPEG/AVI硬解码播放,为普通单片机实现视频播放提供可能。
    支持多种接口:RA8889ML3N支持MCU端的8080/6800 8/16-bit 非同步并列接口和3/4线SPI及IIC串列接口,以及最大驱动1366x800分辨率的TFT LCD。
    显示功能强大:RA8889ML3N提供多段的显示记忆体缓冲区段,支持多图层功能,并提供画中画(PIP)、支持透明度控制与显示旋转镜像等显示功能。

    应用范围广:这款芯片广泛应用于自动化控制设备、电力监测控制、测量检测仪器仪表、电教设备、智能家电、医疗检测设备、车用仪表及工控自动化等领域。

    技术咨询与交流:QQ2851189731, 微信13760238805

  • 注释EN55014-1
    注释EN55014-1
  • RadarSensors_ARS308-21_cn数据手册
    RadarSensors_ARS308-21_cn数据手册
  • 16、谷景电子贴片电感在智能电梯领域应用取得新进展
    16、谷景电子贴片电感在智能电梯领域应用取得新进展
  • [完结19章]SpringBoot开发双11商品服务系统
    今天给大家分享一下关于SpringBoot开发双11商品服务系统的整个流程,我将深度还原大厂实习期技术成长全流程,让你收获大厂项目开发全流程与实战经验,具备应对大流量场景问题的解决能力,全面助力提升实习/转正/跳槽表现力与成功率。


    Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。通过这种方式,Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。

    目的
    让大家更容易使用 spring,更容易集成各种常用的中间件、开源软件。
    SpringBoot 基于 Spring 开发, SpringBoot 本身并不提供 Spring 框架的核心特性以及扩展功能,只是用于快速、敏捷地开发新一代基于 Spring 框架的应用程序。
    SpringBoot 不是用来替代 spring 的解决方案,而是和 spring 框架紧密结合提升 spring 开发者体验的工具。

    准备测试数据
    我们先导入准备好的测试数据,这个测试数据是一份商品数据。

    字段包含商品id,name(商品名)
    last_month_sales(最近一个月的销量)
    favorites(收藏数)这几个字段,我们主要是通过商品名来搜索。
    首先我先先创建一个商品索引
    PUT goods
    {
      "settings": {
        "number_of_shards": 1,
        "number_of_replicas": 0
      },
      "mappings": {
        "properties": {
          "id": {
            "type": "keyword",
            "doc_values": false,
            "norms": false,
            "similarity": "boolean"
          },
          "name": {
            "type": "text"
          },
            "price": {
            "type": "double"
          },
          "last_month_sales": {
            "type": "long"
          },
          "favorites": {
            "type": "long"
          },
          "year":{
            "type": "short"
          }
        }
      }
    }
    千里之行,始于足下。想要舒舒服服地使用Spring框架,就要把它的开发环境配置好,这对它好,也对我好。

    1. jdk 的配置       
    使用 IDEA 进行开发,在 IDEA 中配置 jdk 的方式很简单,打开 File->Project Structure选择 SDKs。
    在 JDK home path 中选择本地 jdk 的安装目录。
    在 Name 中为 jdk 自定义名字通过以上三步骤,即可导入本地安装的 jdk。如果是使用 STS 或者 eclipse 可以通过两步骤添加:
    window->preference->java->Instralled JRES 来添加本地 jdk。
    window-->preference-->java-->Compiler 选择 jre,和 jdk 保持一致。
    PUT test_index/_doc/1
    {
      "string_field":"imooc",
      "int_field": 100,
      "float_field":3.14,
      "bool_field":true,
      "date_field":"2022/03/16",
      "obj_field":{"key1":"value1","key2":100},
      "array_field1":[100,3.14],
      "array_field2":[100,"200"],
      "array_field3":["2022/03/16","100"],
      "array_field4":["100","2022/03/16"],
      "null_field":null
      }
      创建 Spring Boot 项目后需要进行 maven 配置。打开 File->settings,搜索 maven,配置一下本地的 maven 信息。在 Maven home directory 中选择本地 Maven 的安装路径;在 User settings file 中选择本地 Maven 的配置文件所在路径。在配置文件中配置一下国内阿里的镜像,这样在下载 maven 依赖时,速度会变得很快。
    {
      "test_index" : {
        "mappings" : {
          "properties" : {
            "array_field" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            },
            "bool_field" : {
              "type" : "boolean"
            },
            "date_field" : {
              "type" : "date",
              "format" : "yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis"
            },
            "float_field" : {
              "type" : "float"
            },
            "int_field" : {
              "type" : "long"
            },
            "obj_field" : {
              "properties" : {
                "key1" : {
                  "type" : "text",
                  "fields" : {
                    "keyword" : {
                      "type" : "keyword",
                      "ignore_above" : 256
                    }
                  }
                },
                "key2" : {
                  "type" : "long"
                }
              }
            },
            "string_field" : {
              "type" : "text",
              "fields" : {
                "keyword" : {
                  "type" : "keyword",
                  "ignore_above" : 256
                }
              }
            }
          }
        }
      }
    }

    从以上结果中,我们可以看到 Spring Boot 通过MVN方式自动为项目配置了对应的 springframework、logging、jackson 以及 Tomcat 等依赖,而这些正是我们在开发 Web 项目时所需要的。

    那么细心的同学可能会发现一个问题,即在以上 pom.xml 的配置中,引入依赖 spring-boot-starter-web 时,并没有指明其版本(version),但在依赖列表中,我们却看到所有的依赖都具有版本信息,那么这些版本信息是在哪里控制的呢? 
    {
      "_index" : "test_index",
      "_id" : "1",
      "_version" : 1,
      "_seq_no" : 0,
      "_primary_term" : 1,
      "found" : true,
      "_source" : {
        "string_field" : "Chan",
        "int_field" : 100,
        "int_string_field" : "100",
        "float_field" : 3.14,
        "bool_field" : true,
        "date_field" : "2022/03/16",
        "obj_field" : {
          "key1" : "value1",
          "key2" : 100
        },
        "array_field" : [
          "value1",
          "100"
        ],
        "null_field" : null
      }
    }
    spring-boot-starter-parent 是所有 Spring Boot 项目的父级依赖,它被称为 Spring Boot 的版本管理中心,可以对项目内的部分常用依赖进行统一管理。

    <parent>    

            <groupId>org.springframework.boot</groupId>    

            <artifactId>spring-boot-starter-parent</artifactId>    

            <version>2.5.6</version>    

            <relativePath/> 

    </parent>

    Spring Boot 项目可以通过继承 spring-boot-starter-parent 来获得一些缺省的配置内容,它主要提供了以下特性:

    默认 JDK 版本(Java 8)

    默认字符集(UTF-8)

    依赖管理功能

    资源过滤

    默认插件配置识别 

    application.properties 或 application.yml 类型的配置文件
    DELETE test_index

    PUT test_index
    {
      "mappings": {
        "dynamic":false 
      }
    }
    GET test_index/_search
    {
      "query": {
       "term": {
         "field1.field2": {
           "value": "imooc ES"
         }
       }
      }
    }

    GET test_index/_doc/4

    DELETE test_index

    PUT test_index
    {
      "mappings": {
        "dynamic":"strict" 
      }
    }


    POST test_index/_doc/2
    {
      "field1":{
       "field2":"imooc ES" 
      }
    }

    GET test_index/_search
    {
      "query": {
       "term": {
         "field1.field2": {
           "value": "imooc ES"
         }
       }
      }
    }

    GET test_index/_doc/4

    以下就是本文的全部内容,感谢大家观看
  • 首个基于Transformer的分割检测+视觉大模型视频课程(附源码+课件)
    众所周知,视觉系统对于理解和推理视觉场景的组成特性至关重要。这个领域的挑战在于对象之间的复杂关系、位置、歧义、以及现实环境中的变化等。作为人类,我们可以很轻松地借助各种模态,包括但不仅限于视觉、语言、声音等来理解和感知这个世界。现如今,随着 Transformer 等关键技术的提出,以往看似独立的各个方向也逐渐紧密地联结到一起,组成了“多模态”的概念。

    多功能
    通过引入灵活的提示引擎,包括点、框、涂鸦 (scribbles)、掩模、文本和另一幅图像的相关区域,实现多功能性;
    可组合
    通过学习联合视觉-语义空间,为视觉和文本提示组合实时查询,实现组合性,如图1所示;
    可交互
    通过结合可学习的记忆提示进行交互,实现通过掩模 引导的交叉注意力保留对话历史信息;
    语义感知
    通过使用文本编码器对文本查询和掩模标签进行编码,实现面向开放词汇分割的语义感知。

    超大规模视觉通用感知模型由超大规模图像、文本主干网络以及多任务兼容解码网络组成,它基于海量的图像和文本数据构成的大规模数据集进行预训练,用于处理多个不同的图像、图像-文本任务。此外,借助知识迁移技术能够实现业务侧小模型部署。

    超大规模视觉通用感知模型面临的挑战:
    (1)网络参数量庞大,通常超十亿参数,训练稳定性、收敛性、过拟合等问题相较于小网络挑战大很多。
    (2)原始数据集包含数十亿异质低质量图片与海量文本,多步训练以利用异质的多模态多任务数据,流程复杂,存在灾难性遗忘,难以定位精度等问题。
    (3)实验成本高,通常需要上千块GPU并行训练数周,需要研究者有敏锐的分析能力和扎实的知识基础。
    (4)工程挑战多,海量数据的吞吐,大型GPU集群上的并行算法,超大参数量模型的内存管理。

    提示工程
    大多数视觉数据集由图像和相应文本标签组成,为了利用视觉语言模型处理视觉数据集,一些工作已经利用了基于模版的提示工程,
    text_descriptions = [f"This is a photo of a {label}" for label in cifar100.classes]  
    text_tokens = clip.tokenize(text_descriptions).cuda()

    除了此类大型视觉语言基础模型外,一些研究工作也致力于开发可以通过视觉输入提示的大型基础模型。例如,最近 META 推出的 SAM 能够执行与类别无关的分割,给定图像和视觉提示(如框、点或蒙版),指定要在图像中分割的内容。这样的模型可以轻松适应特定的下游任务,如医学图像分割、视频对象分割、机器人技术和遥感等

    从模型训练、模型分发、模型商业化,美图体系化地同创作者和开发者共建模型生态:

    (1)模型训练:提供二次训练能力,并持续不断地为创作者提供服务,包括培训、社区和模型创作大赛。

    (2)模型分发:创作者和开发者共建的模型可以在美图的产品内进行分发,在分发过程中持续优化模型。

    (3)模型商业化:行业客户可通过 MiracleVision 的 API 和 SDK 进行商业使用,创作者和开发者通过商业合作获得经济收益。
    通用视觉-语言学习的基础模型
    UNITER:结合了生成(例如掩码语言建模和掩码区域建模)和对比(例如图像文本匹配和单词区域对齐)目标的方法,适用于异构的视觉-语言任务。
    Pixel2Seqv2:将四个核心视觉任务统一为像素到序列的接口,使用编码器-解码器架构进行训练。
    Vision-Language:使用像 BART 或 T5 等预训练的编码器-解码器语言模型来学习不同的计算机视觉任务。
    模型整体结构上,抛弃了CNN,将 BERT 原版的 Transformer 开箱即用地迁移到分类任务上面,在使用大规模训练集的进行训练时,取得了极好的效果。
    同时,在大规模数据集上预训练好的模型,在迁移到中等数据集或小数据集的分类任务上以后,也能取得比CNN更优的性能。
    模型整体结构如下图所示,完全使用原始 BERT 的 Transformer 结构,主要是对图片转换成类似 token 的处理,原文引入了一个 patch 的概念,首先把图像划分为一个个的 patch,然后将 patch 映射成一个 embedding,即图中的 linear projection 层,将输入转换为类似 BERT 的输入结构,然后加上 position embedding,这里的 position 是1D的,最后加上一个learnable classification token 放在序列的前面,classification由 MLP 完成。

    这里我们用 RAM 提取了图像的语义标签,再通过将标签输入到 Grounding-DINO 中进行开放世界检测,最后再通过将检测作为 SAM 的提示分割一切。目前视觉基础大模型可以粗略的归为三类:
    textually prompted models, e.g., contrastive, generative, hybrid, and conversational;
    visually prompted models, e.g., SAM, SegGPT;
    heterogeneous modalities-based models, e.g., ImageBind, Valley.

    CoCa 通过将所有标签简单地视为文本,对 web-scale alt-text 和 annotated images 进行了从头开始端到端的预训练,无缝地统一了表示学习的自然 语言 监督。因此,CoCa 在广泛的下游任务上实现了最先进的性能,零样本传输或最小的任务特定适应, 跨越视觉识别(ImageNet,Kinetics-400/600/700,Moments-in-Time )、跨模式检索(MSCOCO、Flickr30K、MSR-VTT)、 多模式理解(VQA、SNLI-VE、NLVR2)和图像字幕(MSCOCO、NoCaps)。在 ImageNet 分类中,CoCa 获得了 86.3% 的 zero-shot top-1 准确率, frozen encoder and finetune classifier 是 90.6%,finetune encoder 可以到 91.0%。

    截止目前国内外已经发布了许多包括 NLP, CV 和 多模态在内的大规模模型,但是这些模型在应用落地上还是有待进一步探究的,目前应用落地较好的有华为 的盘古,在电网和金融圈都有应用;智源的悟道系列在诗词图文上都有广泛应用,可以帮助学生看图写作,根据文字生成插图等;百度的文心也发布了在金融方 面的应用。但截止目前为止大模型在实际中的应用还不是很理想,大模型发展的初衷是使用一个预训练好的大模型代替一堆小作坊似的根据不同任务训练的小模 型,通过模型蒸馏知识迁移等技术在小模型上使用少量数据集达到超过原来小模型性能的目标。CV 大模型在应用上的一个难点是与实际应用相结合,目前社会中 用的较多的视觉相关的深度学习模型主要包括物体检测,人脸识别以及缺陷检测(部分)相比 NLP 模型在实际中的使用少很多,因此将 CV 模型与实际生产相 结合发现更多的应用场景很关键。另外一个 CV 大模型应用的难点就是如何快速高效的使用蒸馏和知识迁移技术提升下游任务的性能,这两点难题的解决在 CV 大模型的实际应用中都刻不容缓。

    总结起来,将大模型应用于更高分辨率的下游视觉任务具有以下好处:提高感知能力、改善定位精度、提升语义理解、改善细节保留和边缘清晰度、增加鲁棒性和泛化能力,以及推动研究进展。这些好处使得大模型在处理高分辨率图像时能够获得更准确、更细致和更真实的结果。随着深度学习和计算资源的不断发展,我们可以期待更先进的大模型和相关技术的出现,进一步推动计算机视觉在高分辨率图像任务中的应用和突破

  • 特斯拉电路图.rar
    特斯拉电路图,欢迎大家下载
  • 听力危机不可不慎,助听器市场的发展概况根据世界卫生组织WHO于2021年所发布的世界听力报告(World report on hearing)统计,全球目前有20%左右的听损人口;其中「轻度」与「中度」听损人口就占了大约15亿人左右。台湾方面,根据2021年卫生福利部统计处的数据显示,台湾则约有12万人有听力损失的问题,其中更有高达56% (约71,543人)确诊为轻度听损。足以看出听力受损问题已逐渐成为全球新兴的健康议题。听力损失的成因及轻重程度因人而异,但无论如何,或多或少都会影响到我们的日
    百佳泰测试实验室 2023-11-30 17:26 118浏览
  • 前言 在网络部署之后和业务开展之前,运营商迫切希望了解当前网络的性能状态,以便为商业规划和业务推广提供必要的基础数据支持。因此,高可靠性和高精确度的性能测试方法对于运营商评判网络性能的优劣,显得尤为重要,而RFC 2544等传统测试标准已不足于鉴定当今的服务等级协议(SLA)。SLA是服务提供商(如ISP)及其最终用户之间的协议,它规定以太网服务的开通或验证必须进行测量,且必须达到SLA的规范要求。目前,对以太网服务进行测试和故障诊断的最佳选择无疑是ITU-T Y.1564标准。 &
    信而泰市场部 2023-11-30 15:06 90浏览
  •    本文介绍在ALPS平台上进行SSL测试的内容和方法   什么是SSL SSL全称是Secure Sockets Layer,指安全套接字协议,为基于TCP的应用层协议提供安全连接;SSL介于TCP/IP协议栈的第四层和第五层之间,广泛用于电子商务、网上银行等。 SSL协议有三个版本,其中SSL2.0和3.0曾被广泛使用,其中SSLv3.0自1996提出并得到大规模应用成为了事实上的标准,在2015年才被弃用。1999年,IETF收纳了SSLv3.0并
    信而泰市场部 2023-11-30 15:08 102浏览
  • 印刷部分 这本书印刷和普通书籍不太一样,类似笔记本的手写体印刷和笔记的网格,有亲近感和新鲜感内容部分 分为通信工程 ;传感器工程;磁传感器工程;太阳电池功能几大部分通信电路是一种用于传输信息的电子电路,可以用于无线通信、有线通信和网络通信等各种通信系统中。传感器电路则是用于感知和测量环境参数的电路,可以探测光、温度、压力、湿度、运动等各种物理量。在学习通信电路方面,可能会接触到模拟通信电路和数字通信电路。模拟通信电路主要涉及模拟信号的传输和处理,如调制解调、信号放大、滤波等。数字通信电路则涉及数
    陇南有只大花猫 2023-11-30 19:01 198浏览
  • 作者:Shawn Prestridge,IAR资深现场应用工程师 / 美国FAE团队负责人 安全一直都是一个非常热门的话题,似乎每周都会听到这样的消息:某某公司如何被入侵,数百万用户的数据被泄露。 我们看到这么多的安全问题,部分原因在于我们对待安全的方式:安全性通常被认为是事后考虑的问题,是在开发结束时才添加到设备上的东西。然而,复杂的系统,尤其是嵌入式系统,有一个很大的攻击面,这让攻击者有机可乘,能够在“盔甲”上找到破绽。如果你去研究大部分黑客试图入侵系统的方式,你很快就会发现,在他们的武
    电子科技圈 2023-11-30 14:43 121浏览
  •     按照 IPC术语,连接盘/Land 是指一块导体,通常用于连接和/或固定元器件的导电部分。    为了增强孔的机械强度,所有的金属化孔或者镀覆孔,在穿过每一层铜箔时,都应该有连接盘,连接盘的形状不限。前面提过的孔环也是连接盘的一种形式。在允许的条件下,孔环和连接盘的尺寸都要尽量大一些。    前面提到过,铜层图案(连接盘)和孔是在不同的工序制作的。由于加工公差的存在,用常见的圆形连接盘和圆孔来说,并不能保证孔和连接盘保持精确的同
    电子知识打边炉 2023-11-30 21:32 146浏览
  • By Toradex胡珊逢 简介 双屏显示在显示设备中有着广泛的应用,可以面向不同群体展示特定内容。文章接下来将使用 Verdin iMX8M Plus 的 Arm 计算机模块演示如何方便地在 Toradex 的 Linux BSP 上实现在两个屏幕上显示独立的 Qt 应用。 硬件介绍 软件配置 Verdin iMX8M Plus 模块使用 Toradex Multimedia Reference Image V6.4.0 版本,其包含 Qt5.15 相关运行环境。默认系统中已经使
    hai.qin_651820742 2023-12-01 11:53 117浏览
  • 在电力系统中,过电压保护器是一种重要的设备,它对电力设备的安全运行具有重要的作用。下面我们来了解一下过电压保护器的基本结构。过电压保护器通常由三个主要部分组成:间隙、非线性元件和触发器。1. 间隙:间隙是过电压保护器的基本结构之一,它是由两个金属电极组成的,通常采用球形或棒形结构。间隙的间距通常在几毫米到几厘米之间,它能够承受一定的电压,并在过电压条件下进行放电。2. 非线性元件:非线性元件是过电压保护器的另一个重要组成部分。它是一种特殊的电阻器,能够在高电压下呈现出非线性的特性。当电压超过一定
    保定众邦电气 2023-11-30 14:49 173浏览
  • 高低温探针台是一种用于材料科学、物理、化学等领域的实验设备,主要用于在高温和低温环境下对材料进行各种实验和研究。下面是高低温探针台的工作原理。工作原理是将样品放置在加热和冷却组件上,然后使用各种测量仪器对其进行实验和测量。具体来说,其工作流程如下:将样品放置在加热和冷却组件上;启动加热系统,将样品加热到所需的温度;启动制冷系统,将冷却组件降温到所需的温度;通过各种测量仪器对样品进行实验和测量;记录实验数据并进行分析和处理;结束实验后,关闭加热和制冷系统,并解除真空状态,取出样品。总之,高低温探针
    锦正茂科技 2023-12-01 14:50 101浏览
  • 随着汽车电子进入电动化+智能网联的时代,新能源、车联网、智能化、电动化四个领域带来了CAN数据的需求,企业车队管理需要数据,汽车运营需要数据,改装、解码、匹配工具打造需要数据,现在就连简单的LED汽车照明控制,也需要匹配数据。这一切,逃脱不了CAN、LIN、SENT、BSD、MOST各种协议下,不同ECU控制单元在不同年份,不同款式下的数据,可以这么说,在新能源这个前提下,我们要做的工作和要做的事情可能要更为复杂、多变。 前日,我拿出一份13年左右丰田的CAN协议,里边包括车灯控制、车
    lauguo2013 2023-11-30 15:45 109浏览
  •    电源连接器的插针遭受损坏的情况非常普遍,这种故障会让连接器的电流传输受到影响,进而影响设备的正常使用,那是什么因素导致电源连接器的插针遭到损坏呢?下面Amass将为您分析其中的原因。   1、应用环境高温 1. 在高温环境下,电源连接器插针易受腐蚀影响,形成氧化层,损失接触压力,甚至可能发生接头烧损情况。对于这种环境,电源连接器需要具备耐高温性能,不仅需满足环境温度要求,还须考虑其在工作状态下的热量散发。  
    艾迈斯电子 2023-11-30 16:33 126浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦