自动驾驶是高安全型应用，需要高性能和高可靠的深度学习模型，Vision Transformer是理想的选摔。现在主流的自动驾驶感知算法基本都使用了Vision Transformer相关技术，比如分割、2D/3D检测，以及最近大火的大模型 (如SAM)，Vision Transformer在自动驾驶领域的落地方面遍地开花。5一方面，在自动驾驶或图像处理相关算法岗位的面试题中，Vision Transformer是必考题，需要对其理论知识有深入理解，并且在项目中真实的使用过相关技术。

Transformer出自于Google于2017年发表的论文《Attention is all you need》，最开始是用于机器翻译，并且取得了非常好的效果。但是自提出以来，Transformer不仅仅在NLP领域大放异彩，并且在CV、RS等领域也取得了非常不错的表现。尤其是2020年，绝对称得上是Transformer的元年，比如在CV领域，基于Transformer的模型横扫各大榜单，完爆基于CNN的模型。为什么Transformer模型表现如此优异？它的原理是什么？它成功的关键又包含哪些？本文将简要地回答一下这些问题。

我们知道Transformer模型最初是用于机器翻译的，机器翻译应用的输入是某种语言的一个句子，输出是另外一种语言的句子。
var i *int = nil
fmt.Println("i.size:", unsafe.Sizeof(i)) //8

var i8 *int8 = nil
fmt.Println("i8.size:", unsafe.Sizeof(i8)) //8

var s *string = nil
fmt.Println("s.size:", unsafe.Sizeof(s)) //8

var ps *struct{} = nil
fmt.Println("ps.size:", unsafe.Sizeof(ps)) //8

var si []int = nil
var si1 []int = nil
fmt.Println("si.size:", unsafe.Sizeof(si)) //24

var ii interface{} = nil
fmt.Println("ii.size:", unsafe.Sizeof(ii)) //16
我们以生成我，爱，机器，学习，翻译成<bos>,i，love，machine，learning,<eos>这个例子做生成过程来解释。
训练：

把“我/爱/机器/学习”embedding后输入到encoder里去，最后一层的encoder最终输出的outputs [10, 512]（假设我们采用的embedding长度为512，而且batch size = 1),此outputs 乘以新的参数矩阵，可以作为decoder里每一层用到的K和V；
将<bos>作为decoder的初始输入，将decoder的最大概率输出词向量A1和‘i’做cross entropy（交叉熵）计算error。
将<bos>，“i” 作为decoder的输入，将decoder的最大概率输出词 A2 和‘love’做cross entropy计算error。
将<bos>，“i”，“love” 作为decoder的输入，将decoder的最大概率输出词A3和’machine’ 做cross entropy计算error。
将<bos>，“i”，"love "，“machine” 作为decoder的输入，将decoder最大概率输出词A4和‘learning’做cross entropy计算error。
将<bos>，“i”，"love "，“machine”，“learning” 作为decoder的输入，将decoder最大概率输出词A5和终止符做cross entropy计算error。
那么并行的时候是怎么做的呢，我们会有一个mask矩阵在这叫seq mask，因为他起到的作用是在decoder编码我们的target seq的时候对每一个词的生成遮盖它之后的词的信息。
func main() {
s := []string{"a", "b", "c"}
fmt.Println("s:origin", s)
changes1(s)
fmt.Println("s:f1", s)

changes2(s)
fmt.Println("s:f2", s)

changes3(s)
fmt.Println("s:f3", s)
}

func changes1(s []string) {
var tmp = []string{"x", "y", "z"}
s = tmp
}

func changes2(s []string) {
// item只是一个副本，不能改变s中元素的值
for i, item := range s {
item = "d"
fmt.Printf("item=%s;s[%d]=%s", item, i, s[i])
}
}

func changes3(s []string) {
for i := range s {
s[i] = "d"
}
}

首先我们需要为每个输入向量(也就是词向量)创建3个向量，分别叫做Query、Key、Value。那么如何创建呢？我们可以对输入词向量分别乘上3个矩阵来得到Q、K、V向量，这3个矩阵的参数在训练的过程是可以训练的。注意Q、K、V向量的维度是一样的，但是它们的维度可以比输入词向量小一点，比如设置成64，其实这步也不是必要的，这样设置主要是为了与后面的Mulit-head注意力机制保持一致（当使用8头注意力时，单头所处理的词向量维度为512/8=64，此时Q、K、V向量与输入词向量就一致了）。我们假设输入序列为英文的"Thinking Machines"
想要深度理解Attention机制，就需要了解一下它产生的背景、在哪类问题下产生，以及最初是为了解决什么问题而产生。

首先回顾一下机器翻译领域的模型演进历史：

机器翻译是从RNN开始跨入神经网络机器翻译时代的，几个比较重要的阶段分别是: Simple RNN, Contextualize RNN,Contextualized RNN with attention, Transformer(2017)，下面来一一介绍。

「Simple RNN」 ：这个encoder-decoder模型结构中，encoder将整个源端序列(不论长度)压缩成一个向量(encoder output)，源端信息和decoder之间唯一的联系只是: encoder output会作为decoder的initial states的输入。这样带来一个显而易见的问题就是，随着decoder长度的增加，encoder output的信息会衰减。
func main(){
var c = make(chan int)
fmt.Printf("c.pointer=%p\n", c) //c.pointer=0xc000022180
go func() {
c <- 1
addChannel(c)
close(c)
}()

for item := range c {
//item: 1
//item: 2
fmt.Println("item:", item)
}
}

func addChannel(done chan int) {
done <- 2
fmt.Printf("done.pointer=%p\n", done) //done.pointer=0xc000022180
}
在测试模型的时候，Test：decoder没有label，采用自回归一个词一个词的输出，要翻译的中文正常从encoder并行输入（和训练的时候一样）得到每个单词的embedding，然后decoder第一次先输入bos再此表中的id，得到翻译的第一个单词，然后自回归，如此循环直到预测达到eos停止标记
type visit struct {
a1  unsafe.Pointer
a2  unsafe.Pointer
typ Type
}

func deepValueEqual(v1, v2 Value, visited map[visit]bool) bool {
if !v1.IsValid() || !v2.IsValid() {
return v1.IsValid() == v2.IsValid()
}
if v1.Type() != v2.Type() {
return false
}

// We want to avoid putting more in the visited map than we need to.
// For any possible reference cycle that might be encountered,
// hard(v1, v2) needs to return true for at least one of the types in the cycle,
// and it's safe and valid to get Value's internal pointer.
hard := func(v1, v2 Value) bool {
switch v1.Kind() {
case Pointer:
if v1.typ.ptrdata == 0 {
// not-in-heap pointers can't be cyclic.
// At least, all of our current uses of runtime/internal/sys.NotInHeap
// have that property. The runtime ones aren't cyclic (and we don't use
// DeepEqual on them anyway), and the cgo-generated ones are
// all empty structs.
return false
}
fallthrough
case Map, Slice, Interface:
// Nil pointers cannot be cyclic. Avoid putting them in the visited map.
return !v1.IsNil() && !v2.IsNil()
}
return false
}

if hard(v1, v2) {
// For a Pointer or Map value, we need to check flagIndir,
// which we do by calling the pointer method.
// For Slice or Interface, flagIndir is always set,
// and using v.ptr suffices.
ptrval := func(v Value) unsafe.Pointer {
switch v.Kind() {
case Pointer, Map:
return v.pointer()
default:
return v.ptr
}
}
addr1 := ptrval(v1)
addr2 := ptrval(v2)
if uintptr(addr1) > uintptr(addr2) {
// Canonicalize order to reduce number of entries in visited.
// Assumes non-moving garbage collector.
addr1, addr2 = addr2, addr1
}

// Short circuit if references are already seen.
typ := v1.Type()
v := visit{addr1, addr2, typ}
if visited[v] {
return true
}

// Remember for later.
visited[v] = true
}

switch v1.Kind() {
case Array:
for i := 0; i < v1.Len(); i++ {
if !deepValueEqual(v1.Index(i), v2.Index(i), visited) {
return false
}
}
return true
case Slice:
if v1.IsNil() != v2.IsNil() {
return false
}
if v1.Len() != v2.Len() {
return false
}
if v1.UnsafePointer() == v2.UnsafePointer() {
return true
}
// Special case for []byte, which is common.
if v1.Type().Elem().Kind() == Uint8 {
return bytealg.Equal(v1.Bytes(), v2.Bytes())
}
for i := 0; i < v1.Len(); i++ {
if !deepValueEqual(v1.Index(i), v2.Index(i), visited) {
return false
}
}
return true
case Interface:
if v1.IsNil() || v2.IsNil() {
return v1.IsNil() == v2.IsNil()
}
return deepValueEqual(v1.Elem(), v2.Elem(), visited)
case Pointer:
if v1.UnsafePointer() == v2.UnsafePointer() {
return true
}
return deepValueEqual(v1.Elem(), v2.Elem(), visited)
case Struct:
for i, n := 0, v1.NumField(); i < n; i++ {
if !deepValueEqual(v1.Field(i), v2.Field(i), visited) {
return false
}
}
return true
case Map:
if v1.IsNil() != v2.IsNil() {
return false
}
if v1.Len() != v2.Len() {
return false
}
if v1.UnsafePointer() == v2.UnsafePointer() {
return true
}
for _, k := range v1.MapKeys() {
val1 := v1.MapIndex(k)
val2 := v2.MapIndex(k)
if !val1.IsValid() || !val2.IsValid() || !deepValueEqual(val1, val2, visited) {
return false
}
}
return true
case Func:
if v1.IsNil() && v2.IsNil() {
return true
}
// Can't do better than this:
return false
case Int, Int8, Int16, Int32, Int64:
return v1.Int() == v2.Int()
case Uint, Uint8, Uint16, Uint32, Uint64, Uintptr:
return v1.Uint() == v2.Uint()
case String:
return v1.String() == v2.String()
case Bool:
return v1.Bool() == v2.Bool()
case Float32, Float64:
return v1.Float() == v2.Float()
case Complex64, Complex128:
return v1.Complex() == v2.Complex()
default:
// Normal equality suffices
return valueInterface(v1, false) == valueInterface(v2, false)
}
}
这便是encoder的整体计算流程图了，Transformer模型中堆叠了多个这样的encoder，无非就是输出连接输入罢了，常规操作。
最后再附上一个Transformer的代码实现，读者有兴趣可以跟着自己复现一下Transformer模型的代码。
   package main

   import (
       "log"
       "sync"
   )

   func init() {
       log.SetFlags(log.Lshortfile)
   }
   func main() {
       lock := sync.Mutex{}

       //Go 1.18 新增，是一种非阻塞模式的取锁操作。当调用 TryLock() 时，
       //该函数仅简单地返回 true 或者 false，代表是否加锁成功
       //在某些情况下，如果我们希望在获取锁失败时，并不想停止执行，
       //而是可以进入其他的逻辑就可以使用TryLock()
       log.Println("TryLock：", lock.TryLock())
       //已经通过TryLock（）加锁，不能再次加锁
       lock.Lock()

   }

16、谷景电子贴片电感在智能电梯领域应用取得新进展

如何使用SpringBoot开发一款关于双11商品服务的系统？今天就给大家说道说道，希望对大家的学习有所帮助！
1.什么是SpringBoot？
Spring 的诞⽣是为了简化 Java 程序的开发的，⽽ Spring Boot 的诞⽣是为了简化 Spring 程序开发的。
Spring Boot是由Pivotal团队提供的基于Spring的框架，该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。Spring Boot集成了绝大部分目前流行的开发框架，就像Maven集成了所有的JAR包一样，Spring Boot集成了几乎所有的框架，使得开发者能快速搭建Spring项目。
2.SpringBoot的优点
快速集成框架，Spring Boot 提供了启动添加依赖的功能，⽤于秒级集成各种框架。
内置运⾏容器，⽆需配置 Tomcat 等 Web 容器，直接运⾏和部署程序。
快速部署项⽬，⽆需外部容器即可启动并运⾏项⽬。
可以完全抛弃繁琐的 XML，使⽤注解和配置的⽅式进⾏开发。
⽀持更多的监控的指标，可以更好的了解项⽬的运⾏情况

后端配置
1.1创建Springboot工程
打开idea->file->new->project
选择spring Initializer进行配置，java版本选择8，点击next
- internal 应用代码
    - controllers 控制器模块
      - admin 后端控制器
      - front 前端控制器
    - listen redis监听器
    - models 模型模块
    - service 服务模块
      - product_serive 商品服务
      - wechat_menu_serive 微信公众号菜单服务
      ......
- conf 公共配置
  -config.yml yml配置文件
  -config.go 配置解析，转化成对应的结构体
  
- middleware 中间件
    - AuthCheck.go  jwt接口权限校验
- cors.go 跨域处理
......
- pkg 程序应用包
  - app
  - base
  - casbin
  - jwt
  - qrcode
  - wechat
  .....
- routere 路由
- logs 日志存放
- runtime 资源目录
首先，我仔细分析了需求，并且根据业务逻辑设计了合适的接口。
对于多表关联查询，我使用了MyBatis的注解来编写SQL语句，并通过@One和@Many等注解来实现结果集的映射。
对于数据分页，我使用了MyBatis-Plus提供的Page对象，并结合相关方法来实现数据分页查询。
2. 上课中的优秀项目
在课堂上，我完成了一个优秀的项目，主要是学生实体类的增删改查功能。通过这个项目，我巩固了对Spring Boot框架的理解和掌握。
具体实现如下：
//初始化redis
err := cache.InitRedis(cache.DefaultRedisClient, &redis.Options{
Addr:        global.CONFIG.Redis.Host,
Password:    global.CONFIG.Redis.Password,
IdleTimeout: global.CONFIG.Redis.IdleTimeout,
}, nil)
if err != nil {
if err != nil {
global.LOG.Error("InitRedis error ", err, "client", cache.DefaultRedisClient)
panic(err)
}
panic(err)
}

//初始化mysql
err = db.InitMysqlClient(db.DefaultClient, global.CONFIG.Database.User,
global.CONFIG.Database.Password, global.CONFIG.Database.Host,
global.CONFIG.Database.Name)
if err != nil {
global.LOG.Error("InitMysqlClient error ", err, "client", db.DefaultClient)
panic(err)
}
global.Db = db.GetMysqlClient(db.DefaultClient).DB

开发步骤
SpringBoot 开发起来特别简单，分为如下几步：
创建新模块，选择Spring初始化，并配置模块相关基础信息
选择当前模块需要使用的技术集
开发控制器类
运行自动生成的Application类
知道了 SpringBoot 的开发步骤后，接下来我们进行具体的操作
shutdown.NewHook().Close(
//关闭http server
func() {
ctx, cancel := context.WithTimeout(context.Background(), time.Second*10)
defer cancel()
if err := server.Shutdown(ctx); err != nil {
logging.Error("http server shutdown err", err)
}
},

func() {
//关闭kafka producer（特别是异步生产者，强制关闭会导致丢消息）
if err := mq.GetKafkaSyncProducer(mq.DefaultKafkaSyncProducer).Close(); err != nil {
logging.Error("kafka shutdown err", err)
}
},
func() {
//关闭mysql
if err := db.CloseMysqlClient(db.DefaultClient); err != nil {
logging.Error("mysql shutdown err", err)
}
},
func() {
//关闭redis
if err := cache.GetRedisClient(cache.DefaultRedisClient).Close(); err != nil {
logging.Error("redis shutdown err", err)
}
},
)
//也可以自己实现优雅关闭
//signals := make(chan os.Signal, 0)
//signal.Notify(signals, syscall.SIGHUP, syscall.SIGINT, syscall.SIGTERM, syscall.SIGQUIT)
//s := <-signals
//global.LOG.Warn("shop receive system signal:", s)
//ctx, cancel := context.WithTimeout(context.Background(), 3*time.Second)
//defer cancel()
//err := server.Shutdown(ctx)
//if err != nil {
// global.LOG.Error("http server error", err)
//}
//mq.GetKafkaSyncProducer(mq.DefaultKafkaSyncProducer).Close()

选择 Spring Initializr ，用来创建 SpringBoot 工程
以前我们选择的是 Maven ，今天选择 Spring Initializr 来快速构建 SpringBoot 工程。而在 Module SDK 这一项选择我们安装的 JDK 版本。
type StoreProduct struct {
Image        string         `json:"image" valid:"Required;"`
SliderImage  string         `json:"slider_image" valid:"Required;"`
StoreName    string         `json:"store_name" valid:"Required;"`
StoreInfo    string         `json:"store_info" valid:"Required;"`
Keyword      string         `json:"keyword" valid:"Required;"`
CateId       int            `json:"cate_id" valid:"Required;"`
ProductCate  *StoreCategory `json:"product_cate" gorm:"foreignKey:CateId;association_autoupdate:false;association_autocreate:false"`
Price        float64        `json:"price" valid:"Required;"`
VipPrice     float64        `json:"vip_price" valid:"Required;"`
OtPrice      float64        `json:"ot_price" valid:"Required;"`
Postage      float64        `json:"postage" valid:"Required;"`
UnitName     string         `json:"unit_name" valid:"Required;"`
Sort         int16          `json:"sort" valid:"Required;"`
Sales        int            `json:"sales" valid:"Required;"`
Stock        int            `json:"stock" valid:"Required;"`
IsShow       *int8          `json:"is_show" valid:"Required;"`
IsHot        *int8          `json:"is_hot" valid:"Required;"`
IsBenefit    *int8          `json:"is_benefit" valid:"Required;"`
IsBest       *int8          `json:"is_best" valid:"Required;"`
IsNew        *int8          `json:"is_new" valid:"Required;"`
Description  string         `json:"description" valid:"Required;"`
IsPostage    *int8          `json:"is_postage" valid:"Required;"`
GiveIntegral int            `json:"give_integral" valid:"Required;"`
Cost         float64        `json:"cost" valid:"Required;"`
IsGood       *int8          `json:"is_good" valid:"Required;"`
Ficti        int            `json:"ficti" valid:"Required;"`
Browse       int            `json:"browse" valid:"Required;"`
IsSub        *int8          `json:"is_sub" valid:"Required;"`
TempId       int64          `json:"temp_id" valid:"Required;"`
SpecType     int8           `json:"spec_type" valid:"Required;"`
IsIntegral   *int8          `json:"isIntegral" valid:"Required;"`
Integral     int32          `json:"integral" valid:"Required;"`
BaseModel
}

//定义商品消息结构
type ProductMsg struct {
Operation string `json:"operation"`
*StoreProduct
}
切换web服务器
现在我们启动工程使用的是 tomcat 服务器，那能不能不使用 tomcat 而使用 jetty 服务器，jetty 在我们 maven 高级时讲 maven 私服使用的服务器。而要切换 web 服务器就需要将默认的 tomcat 服务器给排除掉，怎么排除呢？使用 exclusion 标签
func (e *StoreProductController) Post(c *gin.Context) {
var (
dto  dto2.StoreProduct
appG = app.Gin{C: c}
)
httpCode, errCode := app.BindAndValid(c, &dto)
if errCode != constant.SUCCESS {
appG.Response(httpCode, errCode, nil)
return
}
productService := product_service.Product{
Dto: dto,
}
model, err := productService.AddOrSaveProduct()
if err != nil {
appG.Response(http.StatusInternalServerError, constant.FAIL_ADD_DATA, nil)
return
}

//发消息队列
defer func() {
operation := product.OperationCreate
if dto.Id > 0 {
operation = product.OperationUpdate
}
productMsg := models.ProductMsg{
operation,
&model,
}
msg, _ := json.Marshal(productMsg)
p, o, e := mq.GetKafkaSyncProducer(mq.DefaultKafkaSyncProducer).Send(&sarama.ProducerMessage{
Topic: product.Topic,
Key:   mq.KafkaMsgValueStrEncoder(strconv.FormatInt(dto.Id, 10)),
Value: mq.KafkaMsgValueEncoder(msg),
},
)
if e != nil {
global.LOG.Error("send product msg error ", e, "partition :", p, "offset :", o, "id :", dto.Id)
}
}()

appG.Response(http.StatusOK, constant.SUCCESS, nil)

}

RadarSensors_ARS408-21_cn数据手册

基于单片机的TFT-LCD液晶显示控制芯片选型表

14、小电流贴片共模电感更换需要注意些什么.

Wayking RadarSensors_LRR7710_中英文产品手册

TFT-LCD液晶显示控制芯片RA8889ML3N的优势：
低功耗及功能强大：这款芯片最大支持分辨率为1366x2048，内置128Mb SDRAM，可为内容显示进行快速刷新，同时内置视频解码单元，支持JPEG/AVI硬解码播放，为普通单片机实现视频播放提供可能。
支持多种接口：RA8889ML3N支持MCU端的8080/6800 8/16-bit 非同步并列接口和3/4线SPI及IIC串列接口，以及最大驱动1366x800分辨率的TFT LCD。
显示功能强大：RA8889ML3N提供多段的显示记忆体缓冲区段，支持多图层功能，并提供画中画（PIP）、支持透明度控制与显示旋转镜像等显示功能。
应用范围广：这款芯片广泛应用于自动化控制设备、电力监测控制、测量检测仪器仪表、电教设备、智能家电、医疗检测设备、车用仪表及工控自动化等领域。

XPM52C 是一款集成同步开关的降压转换器，支持多种输出快充协议、支持 USB Type-C 和 PD 等多种快充协议，包括 USB Type-C 和 PD 协议，高通 QC2.0/3.0/3.0+，华 为 FCP/SCP/HVSCP，VOOC 2.0/4.0 协议，联发科 PE，三星 AFC，USB BC1.2 DCP 以及 Apple 2.4A 充电规范，为车载充电器、各种快充适配器、智能排插等供电设备提供完 整的解决方案。

12、如何挑选立式磁棒电感厂家