首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    在Jetson上玩转大模型Day7:執行RAG功能的Jetson Copilot

    NVIDIA在https://github.com/NVIDIA-AI-IOT/jetson-copilot/ 開源一個的Jetson Copilot項目,還是在Ollam大模型管理器之上,結合以下兩個應用功能所組成...在這各項目中是用來实现RAG流水线。Streamlit:是一个基于Python的开源框架,用于快速构建和共享漂亮的机器学习和数据科学Web应用程序。在這個項目中用來搭建交互式的Web應用。.../launch_jetson_copilot.sh 腳本啓動整個 Jetson Copilot項目之前,最好先執行前面教過的啓動ollama容器的指令,如下:$ jetson-containers run...我們打開左邊“Use RAG”選項,就會看到其下方出現如下圖左邊的內容:右圖是在jetson-copilot下的兩個對應文件目錄位置:Documents(右邊):需要添加原始文件的地方;Index(左邊...現在回到主畫面中,現在看看Index下面所出現的選項,與jetson-copilot下面的Index與Documents目錄中的內容比對一下,這樣就能掌握添加Index的方法。

    37410

    在Jetson上玩转大模型Day7:執行RAG功能的Jetson Copilot

    NVIDIA在https://github.com/NVIDIA-AI-IOT/jetson-copilot/ 開源一個的Jetson Copilot項目,還是在Ollam大模型管理器之上,結合以下兩個應用功能所組成...在這各項目中是用來实现RAG流水线。 Streamlit:是一个基于Python的开源框架,用于快速构建和共享漂亮的机器学习和数据科学Web应用程序。在這個項目中用來搭建交互式的Web應用。.../launch_jetson_copilot.sh 腳本啓動整個 Jetson Copilot項目之前,最好先執行前面教過的啓動ollama容器的指令,如下: jetson-containers run...我們打開左邊“Use RAG”選項,就會看到其下方出現如下圖左邊的內容: 右圖是在jetson-copilot下的兩個對應文件目錄位置: Documents(右邊):需要添加原始文件的地方; Index...現在回到主畫面中,現在看看Index下面所出現的選項,與jetson-copilot下面的Index與Documents目錄中的內容比對一下,這樣就能掌握添加Index的方法。

    40310

    在Jetson上玩转大模型Day12:NanoLLM開發平臺(1):Python API接口說明

    我們在前面所介紹的各項應用,包括SAM、OWL-Vit、Text-Generation-Webui、stable-diffusion-webui等等,都是基於個別項目環境去搭建,目的是讓讀者比較輕鬆地掌握不同技能的知識...但是這種方式對於要開發一個實用的應用系統來說,就顯得過於零碎,並且難以整合,這又不符合我們一開始所設定的目標,因此提供一套更有系統的開發環境,就變得非常重要。...在Jetson AI Lab項目中的Nano_LLM項目,就爲我們提供很完整的開發環境,項目作者爲我們提供非常豐富的Python API,這樣讓我們就能很有彈性地去建構實用的AI應用,例如結合語音、對話...除了上述的Python API之外,項目還提供一些基本指令,讓我們不需要寫代碼就能直接調用指令來實現某些基本功能,例如下面指令:$ python3 -m nano_llm.completion --api

    34010

    在Jetson上玩转大模型Day8:多模態搜圖的NanoDB

    AI 這個項目是一个CUDA优化的多模态向量数据库,使用CLIP vision Transformer 中的嵌入模型进行txt2img和img2img相似性搜索,實現下面的“以文找圖”與“以圖找圖”的功能...,這對現代人來說是一項福音,因爲大部分人總是困擾着,得在一堆圖片中找到所需要的目標,但是文件名能表達的意義有太有限。...這個項目支持'.png', '.jpg', '.jpeg', '.tiff', '.bmp', '.gif'等格式圖片,除了在边缘有效地索引和搜索数据之外,这些矢量数据库还经常与LLM结合使用,用于检索增强生成...項目最耗時費力的環節,就是啓動多模態大模型對所需要的圖像文件進行全盤的掃描(scan),並建立龐大的向量資料庫(vector DB),在最終執行圖片搜索的功能方面,除了CLI終端指令之外,還提供Web交互模式...爲了提高項目的通用性,我們使用COCO圖像字幕數據集中的12萬張圖像進行示範,包括建立向量資料庫的過程。

    32610

    在Jetson上玩转大模型Day8:多模態搜圖的NanoDB

    AI 這個項目是一个CUDA优化的多模态向量数据库,使用CLIP vision Transformer 中的嵌入模型进行txt2img和img2img相似性搜索,實現下面的“以文找圖”與“以圖找圖”的功能...,這對現代人來說是一項福音,因爲大部分人總是困擾着,得在一堆圖片中找到所需要的目標,但是文件名能表達的意義有太有限。...這個項目支持'.png', '.jpg', '.jpeg', '.tiff', '.bmp', '.gif'等格式圖片,除了在边缘有效地索引和搜索数据之外,这些矢量数据库还经常与LLM结合使用,用于检索增强生成...項目最耗時費力的環節,就是啓動多模態大模型對所需要的圖像文件進行全盤的掃描(scan),並建立龐大的向量資料庫(vector DB),在最終執行圖片搜索的功能方面,除了CLI終端指令之外,還提供Web交互模式...爲了提高項目的通用性,我們使用COCO圖像字幕數據集中的12萬張圖像進行示範,包括建立向量資料庫的過程。

    36210

    在Jetson上玩转大模型Day6:Ollama的Webui智能助手

    Ollama 搭建一個在指令終端的交互式智能助手,但這種操作模式畢竟比較粗糙,而且只能在一臺機器上使用,實用性並不高,如果能搭建一個Web界面的智能助手,並且可以讓局域網裏的其他人一起使用的話,就能大大提高這個項目的實用價值...在https://github.com/open-webui/open-webui這個項目與Ollama項目能搭配得天衣無縫,只要在前面ollama容器執行的狀況下(表示ollama server已啓動...而系統第一個註冊的賬號就會設定爲管理員,因此我們需要先點擊下方“Sing up”去創建賬號,如下界面: 輸入完之後就會正式進入Open Webui操作界面,這時可以看到在右上方與賬號有關的圖標,點進去之後會有“Setting”選項,...這裏顯示的模型選項,就是 Ollama已經下載到本地的模型,可以非常輕鬆地在各種模型直接切換,這樣就很容易去測試各種不同模型的特色與效果。

    44610

    抽时间更新了

    Dwarf Dwarf本質上是一款調試器,這個項目起初知識想使用PyQt來給Frida增加一個有好的UI界面,並且主要用於Android端。但是通過開發人員的努力之後,該工具已經支持iOS端了。...動態分析 允許執行動態指令,我們的Frida代理會在目標系統中加載,並允許我們設置斷點。除此之外,它還可以終端模塊構造器來幫助我們構造初始化函數。...可以生成大量命令行參數並將它們注入到目標代理中,例如: python3 dwarf.py -t android -sp -p com.android.target -s myagent.js 提供了JavaScript...提供了API來控制目標程序。 可擴展 Dwarf內置的插件系統允許我們注入PyQt小工具,並通過多個Dwarf代碼Python API來與目標設備進行交互。...clone https://github.com/iGio90/Dwarf cd Dwarf pip3 install -r requirements.txt python3 dwarf.py 可選項

    82120

    在Jetson上玩转大模型Day6:Ollama的Webui智能助手

    Ollama 搭建一個在指令終端的交互式智能助手,但這種操作模式畢竟比較粗糙,而且只能在一臺機器上使用,實用性並不高,如果能搭建一個Web界面的智能助手,並且可以讓局域網裏的其他人一起使用的話,就能大大提高這個項目的實用價值...在https://github.com/open-webui/open-webui這個項目與Ollama項目能搭配得天衣無縫,只要在前面ollama容器執行的狀況下(表示ollama server已啓動...而系統第一個註冊的賬號就會設定爲管理員,因此我們需要先點擊下方“Sing up”去創建賬號,如下界面: 輸入完之後就會正式進入Open Webui操作界面,這時可以看到在右上方與賬號有關的圖標,點進去之後會有“Setting”選項,...這裏顯示的模型選項,就是 Ollama已經下載到本地的模型,可以非常輕鬆地在各種模型直接切換,這樣就很容易去測試各種不同模型的特色與效果。

    44110
    领券