1. MCP Agent

ngày 15/4 (mcp_agent/ver1)

- Xây dựng Autogent agent theo chuẩn MCP: Client-Server

- Thực hiện 2 Transport MCP Autogent (stdio, sse)

- Demo 2 MCP autogent tools (tools: sum, multiple)

• Ảnh mcp tool Inspector & MCP SSE Transport:

Selector Group Chat

Multi-Agent với selectorGroupChat (multiAgent/selectorGroupChat)

tutorial: https://www.canva.com/design/DAGexPV-VVY/_0Y4MK0Vqze3HenhpD7Hiw/edit?utm_content=DAGexPV-VVY&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton

• Ảnh pipeline:

2. GraphDataBase Research

ngày 31/3 (graph_database/chatbot_vectorsearch_filterByKG)

- Ứng dụng pipeline Sử Dụng KG để filter docs, sau khi các docs được RAG bằng VectorSearch.

ngày 26/3 (graph_database/pipeline_filter_by_kg/main.py)

- Xây dựng demo pipeline ứng dụng GraphDB vào filter sau khi VectorSearch RAG.

- Question -> Lấy Docs bằng vectorsearch -> Trích xuất Labels entity bằng GPT ở question và docs từ vsearch -> Kiểm tra nếu câu hỏi và docs có chung Labels entity hoặc có chung quan hệ thì giữ lại... Người lại thì filter ra khỏi docs.

• Ảnh Demo:

ngày 24/3 (graph_database/build_KG/build_KG.ipynb)

- Build KG.

- Xây dựng pipeline ứng dụng GraphDB vào filter sau khi VectorSearch RAG.

3. Agents Research

ngày 14/3 (agents_research/ver12)

- Hoàn thiện hệ thống chatbot tma info.

- Tích hợp Memory autogent | Truy vấn các câu hỏi, câu trả lời theo session hiện tại -> Lưu câu hỏi và tách câu trả lời theo từng fact(câu) rồi chuyển về dạng docs -> Lưu vào es -> Dùng HybridSearch để tìm kiếm, trong các câu vừa lưu phù hợp với câu hỏi của người dùng hiện tại -> Chuyển thành MemoryContent -> Truyền memory đó vào prompt_agent_assistant và tma_assistant.

• Ảnh Demo Memory autogen:

ngày 12/3

- Sửa lại code (cấu trúc multi-agents, fastapi).

- Tích hợp Memory autogent, tích hợp Azure Content-safety để kiểm nội dung hội thoại người dùng.

• Ảnh Demo Memory autogen và Content safety:

ngày 7/3 (agents_research/ver11)

- Hoàn thiện code phù hợp với pipeline

- Tích hợp Ragas để đánh giá RAG các phương pháp được chọn: LLMContextPrecisionWithoutReference (đánh giá context truy xuất có tốt hay không) + Faithfulness (đánh giá câu trả lời có liên quan đến context không) + Relevance (để đánh giá câu trả lời có liên quan đến câu hỏi hay không ) => đánh giá câu trả lời có hiệu quả và chính xác với câu hỏi hay không.

• Ảnh Demo hệ thống, và điểm số đánh giá bằng Ragas:

ngày 4/3 (agents_research/ver9)

- Cấu trúc lại file code theo dạng class...

- Quản lý các file pdf tải lên với langfuse

• Ảnh minh hoạ quản lý file pdf:

ngày 4/3 (agents_research/ver8)

- Quản lý cost api LLM với langfuse (đánh giá cost dựa vào token input và token ouput) sau đó langfuse sẽ trực quan thành biểu đồ

- Quản lý phiên hội thoại (session) với langfuse: người dùng có thể xem lại các session cũ rồi tiếp tục chat với phiên đó hoặc chat với session

• Ảnh minh hoạ quản lý cost:

* Ảnh minh hoạ quản lý session

ngày 3/3 (agents_research/ver7)

- Xây dựng pipeline xử lý PDF file: pdf file -> LlamaParse -> Chunking(SemanticSplitterNodeParser) -> index_data(elsearch) -> hybrid_search -> context -> agents processing

• Kết quả demo:

ngày 28/2 (agents_research/ver6)

- Kết hợp Langfuse để quan sát kết quả trả về của agents theo từng traces và từng section

- Build pipeline agent-chat: prompt -> get_rag_prompt(elasticsearch) -> get_anew_prmopt(prompt_agent_assistant | tools(duckduckgo, elsearch))-> answer(agent tma_assistant) -> critic (critic_agent)

• Question and Answer:

* Output RAG Prompt: * Output get_anew_prmopt from prompt_agent_assistant:

ngày 27/2 (agents_research/ver5)

- Thực hiện chia code chatbot agent thành front_end, back_end, giao tiếp với nhau bằng fastapi.

ngày 26/2 (agents_research/ver4)

- Build Chatbot agent với TMA info

- Sử dụng 2 tool (get_asearch duckduckgo và hybrid_search_tool_func elasticsearh) để tìm kiếm thông tin. Bên cạnh đó kết hợp với get_rag_prompt để chỉnh sửa promts nhắc cho chatbot ưu tiên trả lời theo thông tin đã lưu trước ở elasticSeach.

• Kết quả chạy thử

ngày 25/2 (agents_research/ver3)

- Tìm hiểu và xây dựng các hệ thông Human-in-the-loop, Meta Prompting System, Multi agent Group Chat, Metacognition AI Agents

ngày 24/2 (agents_research/ver2)

- Thực hiện sử dụng Function Tool (tự tạo truy vẫn dữ liệu mẫu, api duckduckgo search)

- Xây dựng Agentic RAG kết hợp ElasticSearch (hybrid search) trên dữ liệu TMA infomation. Nhưng chỉ truy xuất 1 chiều (vì chưa thực thiện đánh giá độ hài lòng kết quả RAG, rồi cho quay lại phân tích với LLM)

• Kết quả sử dụng Function Tool

* Kết quả sử dụng Agentic RAG 1 chiều

. Elasticsearch Research

ngày 21/2 (ver4)

- Thực hiện Hybrid Searching với data TMA information.

- Sử dụng thuật toán Reciprocal Rank Fusion (RRF) để kết hợp 2 cách seach là lexical_search và semantic_search.

• kết quả chạy khi tìm kiếm "các sự kiện ở TMA":

• Với kết quả trả về đầu tiên thiên về lexical_score sẽ cho ra kết quả tìm kiếm theo từ khoá sự kiện.
• Với kết quả thứ trả về thứ 2, ta thấy không có bất kỳ từ khoá tìm kiếm nào ở kết quả, nhưng hệ thống vẫn cho ra được sự kiện là "cuộc thi ảnh". Nhờ vào semantic_search tìm kiếm theo ngữ nghĩa.

ngày 20/2 (ver3)

- Thực hiện search matching ngram tokenization với data TMA information.

- Thực hiện senmatic seach with dense_vector với data TMA information.

• kết quả chạy với search matching ngram tokenization

* kết quả chạy với senmatic seach with dense_vector

ngày 19/2 (ver2)

- Thu thập dữ liệu TMA infomation (tiếng việ) bằng scraping (793 docs).

- Chạy elasticsearch (dùng multi_match | filter (range)), tìm kiếm theo từ khoá, tìm kiếm theo ngày tháng năm.

• kết quả chạy

ngày 18/2 (ver1)

- Chạy elasticsearch (dùng multi_match | search matching) kết hợp fastapi trên data có sẳn

• kết quả chạy

ngày 17/2 (elasticsearch.ipynb)

- Demo KNN search trên tập data tiếng việt ở mục 10, file elacsticseach.ipynb:

mode VietNamese embedding trên hugging face: https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2?library=sentence-transformers (demo chạy CPU)