※ 本文轉寄自 ptt.cc, 文章原始頁面
看板AI_Art
標題

[LLMs] 使用AI工具整理逐字稿?

時間
最新2023-09-24 05:41:00
留言39則留言,9人參與討論
推噓9 ( 9030 )
不知道有沒有版友願意討論一下這部分的心得,原本我以為很簡單實際上意外的困難。 目前做法: 使用Word聽寫功能得到Word版的逐字稿(準確率大概7成) 然後用GPT4-8k Model下以下的Prompt: {"role":"system", "content": "你是位專業的逐字稿整理師"}, {"role":"user", "content": "我會給你一份(主題說明)的講座紀錄, 請你幫我整理逐字稿,除了修正錯字贅字外盡可能保留原本的用詞。"}, 實際問題: 1.GPT4目前只有8k,最多只能進4000tokens(約2500中文字)回4000tokens, GPT3.5有16K,但幻覺很嚴重。 等於一次大概只能處理15分鐘左右的逐字稿。 (不然就是等GPT4-32K開放) 2.目前我怎麼調Prompt都很容易進4000tokens回1500tokens,把逐字稿內容刪減的太過頭 其他選擇: OpenAI Whisper AI 好像無法區分講者,所以我沒試 有沒有人專案上做過相關嘗試或研究的?感謝 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.87.90 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1692861690.A.A46.html

39 則留言

AlanCloud, 1F
whisper不能區分講者,你試試看用時間軸分,然後用其他

AlanCloud, 2F
可以分辨講者的辨識也定義時間軸比對看看?

olctw, 3F
Whisper 產生的字幕檔案搭配編輯軟體已經相當準確與省下很

olctw, 4F
多時間,搭配影片區分應該還算容易

ZMTL, 5F
我的需求是從一段純語音對話內容整理資料

ZMTL, 6F
剛剛用電腦跑Whisper Large模型,準度還不錯,但無法辨識講

ZMTL, 7F
者導致整理有點麻煩

Supasizeit, 8F
竹子稿一個字都不能錯哩,所以還不是要重聽重修

Supasizeit, 9F
我上次是整理論壇,ChatGPT 可以從語意中判斷某段話

Supasizeit, 10F
誰講的,蠻厲害的

cgjosephlee, 11F
長文本可以參考langchain map reduce summarizatiin

cgjosephlee, 12F
調整一下prompt 後3萬字的總結效果也不錯

cgjosephlee, 13F
我有寫了個網頁做這個 提供給你參考

cgjosephlee, 15F
STT分講者可以搜尋diarization, whisper.cpp 有實驗

cgjosephlee, 16F

cgjosephlee, 17F
有興趣我們可以再討論,希望有幫上忙

rent2ez, 18F
Vocol.ai怎麼做成可以分析講者的阿?

rent2ez, 19F
它不是也用chatgpt api嗎?

ZMTL, 20F
感謝討論,我之後研究一下

ZMTL, 21F
我目前使用相當硬幹的方式完成我的需求

ZMTL, 22F
1.提取Word轉錄的講者 2.配對到Whisper逐字稿文本

ZMTL, 23F
3.把逐字稿文本每一段分開請GPT4修整精簡

andersonhaha, 24F
用 Langchain 寫了一段 audio to text/summary

andersonhaha, 25F
使用 gpt-3.5-turbo-16k 來處理

andersonhaha, 26F

andersonhaha, 27F

venroxas, 28F
Azure的認知服務應該有機會解決

ZMTL, 29F
@cgjosephlee 感謝,我正在閱讀你的Langchain方法,很有幫助

ZMTL, 30F
@andersonhaha 想請問這是部屬在伺服器上的?不然我怎麼可以

ZMTL, 31F
連上去?好酷,不知道方不方便學習整個專案的建置

ZMTL, 32F
@rent2ez 看了一下,有人用whisper ai實現辨識講者,但不是

ZMTL, 33F
openai原本模型有的能力,是另外掛了音調辨識的模型上去

ZMTL, 34F

andersonhaha, 35F
最近學的Langchain 程式,連結 whisper,在 strea

andersonhaha, 36F
mlit 部署就可以直接使用了。只是Prompts 內容無法

andersonhaha, 37F
讓使用者自填 。

sajanny, 38F
這是我最近在用的,逐字稿內容濃縮的還不錯