image caption筆記(零) 前言

2021-09-02 14:22:03 字數 574 閱讀 9488

image caption的研究沿著三個方向進行:

1、基於模板的方法

基於模板的方法預先定義了句子生成的模板,並將句子分成幾部分(如主語、動詞和賓語)。對於這樣的句子片段,許多文章將每個片段與視覺內容對齊,然後生成影象的句子。顯然,它們中的大多數都高度依賴於句子的模板,並且總是產生具有句法結構的句子。

2、基於搜尋的方法

基於搜尋的方法通過從句子池中選擇語義最相似的句子來為影象「生成」句子。這個方向確實可以實現人工級的描述,因為所有的輸出語句都是從現有的人工生成的句子中得到的。但是收集人工生成的句子的需要,使得句子池很難擴大使用。

3、基於語言的模型

基於語言的模型旨在學習視覺內容和文字句子的公共空間中的概率分布,以生成具有更靈活的句法結構的新穎句子。 比如《show and tell》,《show attend and tell》等。

解決的問題有三種:

1、只考慮生成caption

2、novel object caption。它使用現有的caption框架在訓練所用的資料集額外的影象句子配對資料或未配對影象/文字資料上描述新物件。

3、增強caption的多樣性和精細度。

vulkanAPI學習筆記 零

本章是vulkanapi開發的準備工作 可以很輕鬆的找到最新版本的vulkansdk,進行安裝 然後把你的顯示卡驅動更新到最新版本以確保支援vulkan tips 之所以選擇用visual studio進行開發是因為官方windows環境下的demo專案就是visual studio的 sdk的安裝...

零信任學習筆記

一 什麼是零信任架構 二 零信任的核心原則 1 將身份作為訪問控制的基礎 零信任的信任關係來自於對所有參與物件的身份驗證。所有參與物件共同構成端到端信任關係的基礎,這些參與物件包括基礎網路 裝置 使用者 應用等。零信任架構為所有物件賦予數字身份,基於身份而非網路位置來構建訪問控制體系。2 最小許可權...

C 零散筆記

關於控制項 控制項實質就是乙個類 屬性中的name就是它例項後的變數名 屬性中的其他東西就是類中的變數或函式 例如 可以直接通過name.backcolor color.yellow 來直接操作控制項的背景顏色 color類 裡面封裝的大量的顏色變數 r,g,b 通過color.blue呼叫 col...