browser copilot

Browser Copilot เป็นส่วนขยายของเบราว์เซอร์ที่ให้คุณใช้ผู้ช่วย AI ที่มีอยู่หรือที่สร้างขึ้นเองเพื่อช่วยคุณในงานแอปพลิเคชันเว็บในแต่ละวัน

แรงจูงใจ

เป้าหมายคือการจัดหา UI ที่หลากหลายและกรอบงานที่เรียบง่ายเพื่อนำไปใช้และใช้ชุด copilots (ผู้ช่วย AI) ที่เพิ่มมากขึ้นเรื่อยๆ Copilots เหล่านี้สามารถช่วยในงานต่างๆ ได้มากมายโดยใช้ประโยชน์จากความสามารถของส่วนขยายเบราว์เซอร์

ต่อไปนี้คือตัวอย่างเล็กๆ น้อยๆ ของสิ่งที่นักบินอวกาศเหล่านี้สามารถทำได้:

• - เปิดใช้งาน Copilots ที่เกี่ยวข้องกับเว็บแอปพลิเคชันเฉพาะโดยอัตโนมัติ ตัวอย่างเช่น Mail Copilot สามารถเปิดใช้งานได้เมื่อมีการโหลดแอปพลิเคชันเว็บ Mail ในแท็บเบราว์เซอร์
• - แยกข้อมูลจากเว็บแอปพลิเคชันปัจจุบัน ตัวอย่างเช่น นักบินสามารถแยกเนื้อหาเมลปัจจุบันจากเว็บแอป Mail และให้ข้อมูลสรุปของอีเมล หรือผู้ใช้อาจถามคำถามเกี่ยวกับเนื้อหาเมล
• โต้ตอบกับแอปพลิเคชันเว็บ นักบินสามารถสร้างเนื้อความจดหมายตามคำขอของผู้ใช้ นอกจากนี้ยังสามารถกรอกข้อมูลการทดสอบที่เหมาะสมในช่องฟอร์มแอปพลิเคชันเว็บได้อีกด้วย
• - ใช้ API บริการใดๆ เพื่อดึงข้อมูลเพิ่มเติมหรือทำให้กระบวนการเว็บแอปเป็นอัตโนมัติ ตัวอย่างเช่น Copilot สามารถดึงตัวอย่างที่ถูกต้องจากแบ็กเอนด์ของเว็บแอปเพื่อเติมฟอร์มส่วนหน้า
• คุณสามารถสำรวจแนวคิดและความสามารถอื่นๆ มากมายได้โดยการรวมส่วนขยายเบราว์เซอร์เข้ากับความสามารถของ AI และ LLM

การใช้งาน

1. ติดตั้งส่วนขยายในเบราว์เซอร์ของคุณโดยดาวน์โหลดเวอร์ชันล่าสุดจากรุ่นต่างๆ หากต้องการติดตั้งส่วนขยายจากไฟล์ zip คุณต้องไปที่หน้าจอ "จัดการส่วนขยาย" ของเบราว์เซอร์ เปิดใช้งานโหมดนักพัฒนาซอฟต์แวร์ จากนั้นลากและวางไฟล์ zip ของส่วนขยาย
2. เปิดส่วนขยายโดยคลิกที่ไอคอนและเพิ่ม copilot ใหม่โดยระบุ URL ฐาน URL พื้นฐานควรสอดคล้องกับตำแหน่งของ manifest.json และ logo.png เช่น: http://localhost:8000 หากเอเจนต์ของคุณทำงานอยู่ในเครื่อง
3. เริ่มการแชทใหม่โดยคลิกที่ Copilot ที่กำหนดค่าไว้ หรือหาก Copilot มีการเปิดใช้งานอัตโนมัติ เพียงแค่ใช้เบราว์เซอร์ของคุณ จากนั้นแชท Copilot จะปรากฏขึ้นโดยอัตโนมัติเมื่อ Copilot เปิดใช้งาน
4. บันทึกข้อความแจ้งที่คุณต้องการได้โดยตรงจากการแชท หากต้องการเข้าถึงอย่างรวดเร็วในภายหลัง เพียงพิมพ์ '/' ในช่องแชท

เมื่อใดก็ได้ คุณสามารถปิด Copilot เพื่อสนทนาต่อในภายหลังได้โดยใช้ไอคอนส่วนขยาย หรือคลิกขวาที่หน้าแล้วเลือก Toggle Browser Copilot

หากคุณไม่ทราบ URL ของ copilot โปรเจ็กต์นี้จะรวมการใช้งาน copilot อย่างง่ายในโฟลเดอร์ตัวแทน คุณสามารถเริ่มต้นได้โดยการคัดลอก agent/sample.env ไปยัง agent/.env เปลี่ยนตัวแปรสภาพแวดล้อมและเรียกใช้ docker-compose up (จำเป็นต้องมีนักเทียบท่าสำหรับสิ่งนี้) เมื่อเริ่มต้นแล้ว คุณสามารถกำหนดค่าส่วนขยายของคุณให้ใช้งานได้โดยเพิ่ม copilot ด้วย URL http://localhost:8000

เมื่อคุณเปิดใช้งาน copilot (คลิกที่รายการ copilot) ระบบจะขอข้อมูลประจำตัวบางส่วน ใช้ผู้ใช้ test และรหัส test เพื่อเข้าสู่ระบบ

ในอนาคต เราวางแผนที่จะเพิ่มแคตตาล็อกนักบินร่วมที่ชุมชนสนับสนุน ดังนั้น หากคุณสร้าง Copilot ใหม่ โปรดแจ้งให้เราทราบ เพื่อที่เราจะได้รวมไว้ในแค็ตตาล็อกเริ่มต้น

การพัฒนา

การพัฒนาตัวแทน

หากต้องการพัฒนาเอเจนต์ใหม่ คุณสามารถอ้างถึงโฟลเดอร์เอเจนต์จำลอง เอเจนต์แบบง่าย หรือขยายเอเจนต์ได้ อย่างหลังเป็นอันที่สมบูรณ์ที่สุดพร้อมเอกสารประกอบที่เหมาะสมเกี่ยวกับจุดสิ้นสุดและ manifest.json

สำหรับสภาพแวดล้อมการพัฒนา โปรเจ็กต์นี้ใช้ devbox และ direnv

หากต้องการติดตั้งการขึ้นต่อกันที่จำเป็นทั้งหมด (หลังจากติดตั้ง devbox และ direnv) ให้รันคำสั่งต่อไปนี้:

devbox run install

ถัดไป ตั้งค่าตัวแปรสภาพแวดล้อมที่เหมาะสมใน agent-extended/.env

เพื่อเร่งการพัฒนา คุณสามารถแสดงความคิดเห็นในส่วน Keycloak ได้ ดังนั้นคุณไม่จำเป็นต้องตรวจสอบสิทธิ์ทุกครั้งที่คุณต้องการลองใช้ Copilot ในส่วนขยาย หากคุณไม่ได้แสดงความคิดเห็นในส่วน Keycloak คุณจะต้องเรียกใช้ devbox run keycloak เพื่อหมุน Keycloak สำหรับการตรวจสอบสิทธิ์และใช้ข้อมูลรับรองการ test test สำหรับการเข้าสู่ระบบ (เมื่อส่วนขยายเบราว์เซอร์ร้องขอ)

หากต้องการรันเอเจนต์ในโหมด dev โดยเปิดใช้งาน hot-reloading อัตโนมัติทุกครั้งที่ตรวจพบการเปลี่ยนแปลงในไฟล์ต้นฉบับของเอเจนต์ ให้ดำเนินการคำสั่งต่อไปนี้:

devbox run agent

หากคุณต้องการดีบักเอเจนต์ คุณสามารถเริ่มต้นเอเจนต์ด้วย IDE ที่คุณต้องการ โดยชี้ไปที่สภาพแวดล้อมเสมือนที่เกี่ยวข้องซึ่งสร้างโดย devbox และใช้ความสามารถดีบักเกอร์ของ IDE เพื่อรันสคริปต์หลัก

สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับตัวแทน โปรดดูที่ readme

การพัฒนาส่วนขยายเบราว์เซอร์

หากคุณวางแผนที่จะสนับสนุนการเปลี่ยนแปลงส่วนขยายเบราว์เซอร์ โปรดดูที่โฟลเดอร์ส่วนขยายเบราว์เซอร์

หากต้องการเปิดเบราว์เซอร์ Chrome ที่มีความสามารถในการรีโหลดด่วน ให้ใช้คำสั่งต่อไปนี้:

devbox run browser

หากต้องการแก้ไขการตั้งค่าเริ่มต้นของเบราว์เซอร์ โปรดปรึกษา browser-extension/vite.config.ts

หากต้องการสร้างการแจกแจงส่วนขยายขั้นสุดท้าย ให้ดำเนินการคำสั่งต่อไปนี้:

devbox run build

มีส่วนร่วม

เรายินดีรับการสนับสนุนทุกรูปแบบ!

• มอบดาวให้กับโครงการนี้ เพื่อให้ทุกคนในชุมชนมองเห็นได้มากขึ้น ช่วยให้เรารู้ว่าคุณสนใจโครงการนี้ ซึ่งเป็นแรงบันดาลใจให้เราทุ่มเทความพยายามมากขึ้นกับโครงการนี้
• - กระจายข่าวเกี่ยวกับโครงการนี้ หากคุณเผยแพร่ใดๆ (ทวีต การกล่าวถึง StackOverflow โพสต์ใน LinkedIn บทความ Medium ฯลฯ) เกี่ยวกับเรื่องนี้ โปรดแจ้งให้เราทราบ เราวางแผนที่จะเพิ่มการอ้างอิงไปยังสิ่งพิมพ์ดังกล่าวในอนาคต
• - ถามคำถามและขอการปรับปรุงโดยการสร้างประเด็นหรือเปิดการสนทนาในพื้นที่เก็บข้อมูล
• ?‍ หากคุณชอบการเขียนโค้ด คุณสามารถสร้างตัวแทนใหม่ได้ โดยช่วยเราปรับใช้คุณสมบัติส่วนขยายของเบราว์เซอร์หรือการปรับปรุงทั่วไป