【培訓(xùn)對(duì)象】
相關(guān)從業(yè)者

【培訓(xùn)收益】
拓展對(duì)多模態(tài)AI應(yīng)用領(lǐng)域的視野，聚焦AI賦能創(chuàng)新突破，提升對(duì)AI服務(wù)的技術(shù)認(rèn)知與理解。

 

第1部分：多模態(tài)學(xué)習(xí)概述

多模態(tài)學(xué)習(xí)的定義

多模態(tài)學(xué)習(xí)的意義

多模態(tài)數(shù)據(jù)類型：文本、圖像、視頻、音頻等

多模態(tài)學(xué)習(xí)的應(yīng)用領(lǐng)域（自然語言處理、計(jì)算機(jī)視覺、推薦系統(tǒng)等）

 

第2部分：ViT、Beit與CLIP/BLIP

ViT模型架構(gòu)概述

Patch Embedding與Positional Encoding

Beit與ViT的比較

Beit在自監(jiān)督學(xué)習(xí)中的應(yīng)用

Beit在多模態(tài)任務(wù)中的優(yōu)勢(shì)

實(shí)踐演示：利用ViT和Beit進(jìn)行圖文轉(zhuǎn)化的效果

CLIP模型介紹：從圖像到文本的跨模態(tài)嵌入

BLIP模型架構(gòu)：結(jié)合CLIP的多模態(tài)模型

CLIP/BLIP在多模態(tài)任務(wù)中的應(yīng)用：圖像-文本匹配、圖像標(biāo)注等

實(shí)踐演示：使用CLIP進(jìn)行圖像-文本匹配任務(wù)

 

第3部分：Stable Diffusion及SD XL

Stable Diffusion模型概述：生成模型在圖像生成中的應(yīng)用

SD的原理推導(dǎo)

SD模型的架構(gòu)

Stable Diffusion XL：擴(kuò)展的Stable Diffusion模型

微調(diào)擴(kuò)散模型：DreamBooth

微調(diào)擴(kuò)散模型：Textual-Inversion

微調(diào)擴(kuò)散模型：LoRA

微調(diào)擴(kuò)散模型：Hypernetworks

Stable Diffusion在藝術(shù)創(chuàng)作和設(shè)計(jì)中的應(yīng)用

實(shí)踐演示：使用Stable Diffusion生成圖像

 

第4部分：微調(diào)與RLHF方法

微調(diào)的基本概念

SFT：監(jiān)督微調(diào)方法

PEFT的概念

P-tuning v2 / LoRA / Freeze等

微調(diào)方法在多模態(tài)學(xué)習(xí)中的應(yīng)用

實(shí)踐演示：對(duì)多模態(tài)大模型進(jìn)行微調(diào)

 

第5部分：與人類偏好對(duì)齊

強(qiáng)化學(xué)習(xí)基礎(chǔ)概述

DPO：直接偏好優(yōu)化

PPO：近端策略優(yōu)化

llama-factory簡(jiǎn)介

實(shí)踐演示：利用llama-factory對(duì)大模型進(jìn)行RLHF

 

第6部分：多模態(tài)大模型

qwen_vl_chat

Yi_vl_chat

LLaVa

open-sora

chatTTS

實(shí)踐演示：使用qwen_vl和Yi_vl_chat進(jìn)行視覺問答任務(wù)

 

 

 

葉梓，上海交通大學(xué)計(jì)算機(jī)專業(yè)博士畢業(yè)，高級(jí)工程師。主研方向：數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能。歷任國(guó)內(nèi)知名上市IT企業(yè)的AI技術(shù)總監(jiān)、資深技術(shù)專家，市級(jí)行業(yè)大數(shù)據(jù)平臺(tái)技術(shù)負(fù)責(zé)人。

 

長(zhǎng)期負(fù)責(zé)城市信息化智能平臺(tái)的建設(shè)工作，開展行業(yè)數(shù)據(jù)的智能化應(yīng)用研發(fā)工作，牽頭多個(gè)省級(jí)、市級(jí)行業(yè)智能化信息系統(tǒng)的建設(shè)，主持設(shè)計(jì)并搭建多個(gè)省級(jí)、市級(jí)行業(yè)大數(shù)據(jù)平臺(tái)。參與國(guó)家級(jí)人工智能課題，牽頭上海市級(jí)人工智能示范應(yīng)用課題研究。

 

帶領(lǐng)團(tuán)隊(duì)在相關(guān)行業(yè)領(lǐng)域研發(fā)多款人工智能創(chuàng)新產(chǎn)品，成功落地多項(xiàng)大數(shù)據(jù)、人工智能前沿項(xiàng)目，其中信息化智能平臺(tái)項(xiàng)目曾榮獲：“上海市信息技術(shù)優(yōu)秀應(yīng)用成果獎(jiǎng)”。帶領(lǐng)團(tuán)隊(duì)在參加國(guó)際NLP算法大賽，獲得Top1%的成績(jī)。參與國(guó)家級(jí)、省級(jí)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)的制定，曾獲省部級(jí)以上的科技創(chuàng)新一等獎(jiǎng)。

 

1.      論文發(fā)表/項(xiàng)目經(jīng)歷

在國(guó)內(nèi)外期刊、會(huì)議中發(fā)表論文27篇，其中被SCI/EI收錄4篇

 

項(xiàng)目經(jīng)歷：

l  上海市城市信息化人工智能項(xiàng)目 項(xiàng)目負(fù)責(zé)人

ü  研發(fā)智能服務(wù)系統(tǒng)，包括：元宇宙與虛擬數(shù)字人、基于人工智能的內(nèi)容生成（AIGC）、基于NLP技術(shù)的對(duì)話系統(tǒng)、基于深度學(xué)習(xí)的圖像識(shí)別系統(tǒng)、基于智能推理的行業(yè)推薦系統(tǒng)。

相關(guān)工作：

作為項(xiàng)目總負(fù)責(zé)，負(fù)責(zé)項(xiàng)目管理、產(chǎn)品研發(fā)、系統(tǒng)分析、技術(shù)指導(dǎo)、算法指導(dǎo)等。

 

l  上海市城市智能信息化工程 總工程師

ü  采用大數(shù)據(jù)技術(shù)，建設(shè)市級(jí)信息平臺(tái)，完成試點(diǎn)單位接入并采集居民相關(guān)信息，實(shí)現(xiàn)市級(jí)平臺(tái)檔案等服務(wù)，并實(shí)現(xiàn)所有單位的全面接入。

ü  為解決超量數(shù)據(jù)的存儲(chǔ)與計(jì)算的問題，搭建了存儲(chǔ)全市數(shù)據(jù)的云計(jì)算平臺(tái)，并在其上進(jìn)行了基于大數(shù)據(jù)的分析和挖掘工作。

相關(guān)工作：

作為總工程師，負(fù)責(zé)技術(shù)管理、系統(tǒng)分析、云平臺(tái)數(shù)據(jù)存儲(chǔ)設(shè)計(jì)、數(shù)據(jù)分析與挖掘指導(dǎo)、開發(fā)指導(dǎo)。

 

l  上海市城市信息化領(lǐng)域智能聯(lián)網(wǎng)工程 技術(shù)經(jīng)理

ü  建設(shè)內(nèi)容包括：接入單位的聯(lián)網(wǎng)；智能卡的實(shí)現(xiàn)；城市信息化智能平臺(tái)的升級(jí)；科研平臺(tái)的擴(kuò)展與升級(jí)；建立決策支持系統(tǒng)；評(píng)估體系的展示設(shè)計(jì)；短信平臺(tái)的實(shí)現(xiàn)；違規(guī)操作的提醒；協(xié)同智能服務(wù)平臺(tái)的實(shí)現(xiàn)等。

相關(guān)工作：

作為技術(shù)經(jīng)理負(fù)責(zé)總體架構(gòu)設(shè)計(jì)、接口設(shè)計(jì)、大數(shù)據(jù)平臺(tái)設(shè)計(jì)、AI技術(shù)指導(dǎo)等。

 

 

3. 主攻方向

具有扎實(shí)的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等人工智能理論基礎(chǔ)；了解AIGC等技術(shù)前沿動(dòng)態(tài)。

精通機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的理論、模型、算法、調(diào)優(yōu)等；精通算法設(shè)計(jì)；

熟悉深度學(xué)習(xí)在自然語言處理、計(jì)算機(jī)視覺兩大核心領(lǐng)域的實(shí)用技巧；

15年以上的程序開發(fā)經(jīng)驗(yàn)，熟悉常用程序開發(fā)架構(gòu)，獨(dú)立完成多個(gè)產(chǎn)品級(jí)軟件的設(shè)計(jì)與開發(fā)。