在人工智能快速發(fā)展的當(dāng)下，實(shí)時(shí)交互的智能應(yīng)用需求日益增長(zhǎng)，而 TEN 的出現(xiàn)，為這一領(lǐng)域帶來了全新的可能。這款已收獲 6.9k 星星的開源生態(tài)系統(tǒng)，專注于創(chuàng)建、定制和部署具有多模態(tài)能力的實(shí)時(shí)對(duì)話式 AI 代理，涵蓋語音、視覺和虛擬形象交互，為開發(fā)者構(gòu)建多樣化智能交互應(yīng)用提供了強(qiáng)大助力。?

 

項(xiàng)目簡(jiǎn)介?

 

TEN 是一個(gè)全面的開源生態(tài)系統(tǒng)，它包含 TEN Framework、TEN Turn Detection 等多個(gè)項(xiàng)目，不僅提供了豐富的技術(shù)支持，還配備了低代碼 / 無代碼工具 TMAN Designer，極大降低了開發(fā)門檻。無論你是經(jīng)驗(yàn)豐富的開發(fā)者，還是剛?cè)腴T的新手，都能借助 TEN 輕松開展工作。而且，TEN 支持本地、容器及云服務(wù)部署，靈活適配不同的使用場(chǎng)景，讓開發(fā)者可以根據(jù)自身需求選擇最適合的部署方式。?

 

 

功能 DEMO：領(lǐng)略 TEN 的強(qiáng)大實(shí)力?

 

實(shí)時(shí)虛擬數(shù)字人?

 

借助 Trulience 提供的免費(fèi)數(shù)字形象，TEN 能快速構(gòu)建可交互的 AI 虛擬人。想象一下，這些虛擬人可以像真人一樣與你進(jìn)行實(shí)時(shí)對(duì)話，在客服、教育、娛樂等多個(gè)領(lǐng)域都能發(fā)揮重要作用，為用戶帶來全新的交互體驗(yàn)。?

 

實(shí)時(shí)語音與 MCP 服務(wù)器集成?

 

TEN Agent 支持通過 MCP 服務(wù)器調(diào)用多種 LLM 模型，實(shí)現(xiàn)靈活的實(shí)時(shí)語音對(duì)話。這意味著，用戶可以通過語音與 AI 代理進(jìn)行自然、流暢的交流，無需手動(dòng)輸入文字，大大提升了交互的便捷性和效率。?

 

實(shí)時(shí)硬件通信?

 

TEN 在硬件集成方面也表現(xiàn)出色，其 Agent 已成功運(yùn)行在 Espressif ESP32 – S3 Korvo V3 開發(fā)板上，實(shí)現(xiàn)了將 LLM 實(shí)時(shí)對(duì)話功能集成至嵌入式設(shè)備。這一突破讓 AI 交互得以延伸到物聯(lián)網(wǎng)場(chǎng)景，為智能家居、工業(yè)控制等領(lǐng)域帶來了更多創(chuàng)新可能。?

 

實(shí)時(shí)視覺與屏幕共享檢測(cè)?

 

通過 Google Gemini Multimodal Live API，TEN 能夠?qū)崿F(xiàn)對(duì)實(shí)時(shí)攝像頭畫面及屏幕共享內(nèi)容的識(shí)別。同時(shí)，它還集成了 Weather Check（天氣查詢）、Web Search（網(wǎng)頁(yè)搜索）等工具，進(jìn)一步增強(qiáng)了多模態(tài)交互體驗(yàn)，讓 AI 代理能更全面地理解和響應(yīng)用戶需求。?

 

與其他 LLM 平臺(tái)聯(lián)動(dòng)?

 

TEN Agent 并非孤立存在，它支持與如 Dify 等第三方 LLM 平臺(tái)聯(lián)合使用。通過提供流暢的接口和實(shí)時(shí)交互支持，TEN 提升了代理的智能程度和平臺(tái)兼容性，讓開發(fā)者可以充分利用不同平臺(tái)的優(yōu)勢(shì)，打造更強(qiáng)大的 AI 應(yīng)用。?

 

StoryTeller 實(shí)時(shí)圖像生成?

 

TEN 內(nèi)置了圖像生成模塊 StoryTeller，它能夠根據(jù)對(duì)話內(nèi)容實(shí)時(shí)生成圖像。并且，該模塊能與天氣查詢、網(wǎng)頁(yè)搜索等工具完美協(xié)作，在故事創(chuàng)作、場(chǎng)景生成等任務(wù)中表現(xiàn)出色，為用戶帶來視覺與交互的雙重享受。?

 

探索與體驗(yàn)?

 

如果你對(duì) TEN 充滿興趣，想要親身體驗(yàn)它的強(qiáng)大功能，可以通過以下鏈接進(jìn)行探索：?

 

項(xiàng)目鏈接：https://github.com/TEN-framework/ten-framework?

 

試用鏈接：https://agent.theten.ai/?

 

無論是開發(fā)者想要構(gòu)建創(chuàng)新的智能交互應(yīng)用，還是普通用戶想要感受前沿的 AI 交互技術(shù)，TEN 都值得一試。