prompt markdown parser

Prompt-Markdown-Parser

• Markdown เป็นภาษามาร์กอัปที่มีน้ำหนักเบาสำหรับการสร้างข้อความที่จัดรูปแบบโดยใช้ตัวแก้ไขข้อความธรรมดา คุณสามารถจัดรูปแบบข้อความของคุณด้วยรูปแบบ Markdown ได้อย่างง่ายดาย พรอมต์อาจเป็นเรื่องยากที่จะจัดระเบียบ ดังนั้นด้วยโซลูชันที่ใช้ GUI และ CLI นี้คุณสามารถจัดโครงสร้างพรอมต์ของคุณด้วยรูปแบบไฟล์ markdown และรับพรอมต์บวกและลบเป็นไฟล์ TXT แยก
• ตอนนี้คุณสามารถสร้างชุดข้อมูลฝึกอบรมรุ่นเครื่องกำเนิดไฟฟ้าของคุณประเมินโมเดลของคุณและสร้างพรอมต์ด้วย

สารบัญ

• การอัปเดต
• ความต้องการ
• การใช้งาน
  • แอปพลิเคชัน CLI
    • เมนูแยกวิเคราะห์
    • เมนู civitai
    • สร้างเมนู
    • เมนูรถไฟ
    • ประเมินเมนู
    • สร้างเมนู
      • สร้างเมนู
      • ตั้งค่าเมนู
      • เมนูพิมพ์
  • แอปพลิเคชัน GUI
    • แท็บตัวแยกวิเคราะห์
    • แท็บชุดข้อมูล
    • แท็บ Civitai
    • แท็บรถไฟ
    • ประเมินแท็บ
    • สร้างแท็บ
  • แอปพลิเคชัน webui
  • Prompt Generator Custom Node สำหรับ comfyui
• ตัวอย่าง
  • ตัวอย่างตัวแยกวิเคราะห์
  • ตัวอย่างเครื่องกำเนิดไฟฟ้า

การอัปเดต

• ดูไฟล์ updates.md

ความต้องการ

• ทดสอบในสภาพแวดล้อม Windows OS
• จำเป็นต้องใช้เวอร์ชัน Python ขั้นต่ำสำหรับแอปพลิเคชัน GUI
• ทดสอบด้วย Python 3.10.6 และ 3.11.3 เป็นหมายเหตุสำหรับ Python 3.10.6 และ Tkinter เวอร์ชันใหม่กว่ามาเป็นค่าเริ่มต้น คุณสามารถทดสอบได้อย่างง่ายดายด้วยคำสั่งเหล่านี้:

ตรวจสอบโมดูล tkinter

• จากบรรทัดคำสั่งป้อนคำสั่ง python และกดปุ่ม Enter
• เขียนคำสั่ง import tkinter แล้วกดปุ่ม Enter หากไม่มีข้อผิดพลาด คุณพร้อมที่จะไป
• คำสั่ง Write exit() และกดปุ่ม ENTER เพื่อออก

การใช้งาน

• โคลนที่เก็บด้วย git clone https://github.com/alpertunga-bile/prompt-markdown-parser.git
• เข้าสู่โฟลเดอร์ด้วยคำสั่ง cd prompt-markdown-parser

หน้าต่าง

• เรียกใช้คำสั่ง python start.py

download_compressed.mp4

ลินเวกซ์

• ลองใช้คำสั่ง python start.py หากล้มเหลวให้เรียกใช้คำสั่งเหล่านี้

python -m venv venv
source venv/bin/activate
pip3 install -r requirements.txt

แอปพลิเคชัน CLI

• เริ่มต้นแอปพลิเคชันด้วยคำสั่ง python start.py --cli คำสั่งนี้จะค้นหาไฟล์ 'VENV' สำหรับสภาพแวดล้อมเสมือนจริง มันจะตั้งค่าการพึ่งพาและเริ่มแอปพลิเคชัน หลังจากการตั้งค่าครั้งแรกมันจะเริ่มต้นแอปพลิเคชัน CLI
• มี 8 คำสั่งในเมนูหลัก เหล่านี้คือการแยกวิเคราะห์สร้างรถไฟประเมินสร้างชัดเจน CLS และออก ด้วย 5 คำสั่งแรกคุณสามารถเข้าถึงเมนูที่แตกต่างกัน ด้วยคำสั่ง CLEAR และ CLS คุณสามารถล้างเทอร์มินัล ด้วยคำสั่ง EXIT คุณสามารถยกเลิกแอปพลิเคชัน
• คุณไม่จำเป็นต้องเขียนคำสั่งทั้งหมดที่คุณสามารถเขียนตัวอักษร 2 หรือ 3 ตัวอักษรแรกและกดปุ่ม TAB เพื่อให้เสร็จสมบูรณ์อัตโนมัติ

เมนูแยกวิเคราะห์

• ในส่วนแยกมี 3 คำสั่ง AllParse, Parse และ Exit คุณสามารถใช้ปุ่ม TAB ได้ที่นี่
• คุณต้องมีโฟลเดอร์ prompts เพื่อดำเนินการต่อด้วยคำสั่ง AllParse มันจะพบไฟล์. MD ทั้งหมดภายใต้โฟลเดอร์ prompts และพิมพ์ไฟล์ทั้งหมดที่สามารถพบได้ หลังจากนั้นมันจะขอให้คุณต้องการแปล คุณสามารถใช้ฟังก์ชันการทำงานที่สมบูรณ์อัตโนมัติได้ที่นี่ จากนั้นจะแยกวิเคราะห์ไฟล์ทั้งหมดและเขียนภายใต้โฟลเดอร์ prompts
• ในคำสั่งแยกวิเคราะห์ คุณระบุ filepath เพื่อแยกวิเคราะห์และจะถามการแปลและหลังจากนั้นมันจะแยกวิเคราะห์และบันทึกลงในโฟลเดอร์เดียวกันกับไฟล์. md

cli-parse.mp4

เมนู civitai

• มีฟังก์ชั่นสามอย่างที่คุณสามารถใช้ได้
• ไฟล์จะต้องอยู่ในโฟลเดอร์ dataset และเพียงแค่เขียนชื่อไฟล์ไม่ใช่เส้นทาง
• ปรับปรุงฟังก์ชันการทำงานสำหรับการสร้างชุดข้อมูล คุณสามารถระบุชื่อไฟล์บวกและลบ จากนั้นคุณสามารถระบุขีด จำกัด ภาพในช่วง [1, 200] จากนั้นระบุเคอร์เซอร์ภาพเพื่อเริ่มต้นเมื่อใดที่จะเสร็จเป็นชั่วโมงและนาที ระบุพรอมต์ที่ต้องการและไม่ต้องการด้วยเครื่องหมายจุลภาคที่แยกออกจากกัน คุณสามารถใช้พรอมต์เริ่มต้น เลือกพารามิเตอร์การเรียงลำดับระยะเวลาและ NSFW
• ฟังก์ชั่นลูกพรุนสำหรับการล้างข้อมูลซ้ำในไฟล์ ป้อนชื่อไฟล์ของคุณและรอ "เสร็จแล้ว !!!" ข้อความที่จะแสดง
• ฟังก์ชั่นความถี่สำหรับการดูว่ามีการใช้คำกี่ครั้ง ระบุชื่อไฟล์และเมื่อเสร็จสิ้นการค้นหา dataset/frequency.txt ไฟล์ txt

cli-civitai_compressed.mp4

สร้างเมนู

• ในเมนูสร้างคุณต้องให้เส้นทางชุดข้อมูล ดังนั้นจะสร้างไฟล์ชุดข้อมูลได้อย่างไร? มันค่อนข้างง่ายจริงๆไปที่ไซต์ Civitai และค้นหาภาพที่คุณชอบ จากนั้นคัดลอกลิงค์และวางในไฟล์ txt
• จากนั้นระบุชื่อไฟล์บวก หากคุณมีชุดข้อมูลเชิงบวกอยู่แล้วคุณสามารถระบุได้เช่นกัน แต่จะต้องอยู่ภายใต้โฟลเดอร์ชุดข้อมูล
• จากนั้นระบุชื่อไฟล์ลบ หากคุณมีชุดข้อมูลเชิงลบอยู่แล้วคุณสามารถระบุได้เช่นกัน แต่จะต้องอยู่ภายใต้โฟลเดอร์ชุดข้อมูล
• คุณสามารถเขียนโดยมีหรือไม่มีส่วนขยายไฟล์
• Aftert ที่รอให้แถบความคืบหน้าเสร็จสิ้นและ DONE !!! ข้อความบนเทอร์มินัล

cli-create.mp4

เมนูรถไฟ

• ให้เส้นทางชุดข้อมูลของคุณ ซึ่งอาจเป็นชุดข้อมูลเชิงบวกหรือเชิงลบของคุณ ไม่ใช่ชุดข้อมูลลิงก์
• ป้อนชื่อโมเดลของคุณตัวอย่างเช่น gpt2 คุณสามารถพบชื่อรุ่น หากคุณกำลังจะใช้ไซต์นี้ให้เขียนชื่อโมเดลทั้งหมดเช่น bigscience/bloom-560m
• เข้าสู่ยุค
• ป้อนขนาดแบทช์
• ป้อนโมเดลบันทึกชื่อโฟลเดอร์ โมเดลกำลังจะบันทึกภายใต้โฟลเดอร์ชุดข้อมูล ดังนั้นชื่อโฟลเดอร์ที่คุณต้องการบันทึก
• รอ DONE!!! ข้อความบนเทอร์มินัล

cli-train.mp4

ประเมินเมนู

• ให้เส้นทางชุดข้อมูลของคุณ ซึ่งอาจเป็นชุดข้อมูลเชิงบวกหรือเชิงลบของคุณ ไม่ใช่ชุดข้อมูลลิงก์
• ป้อนชื่อโมเดลของคุณตัวอย่างเช่น gpt2 คุณสามารถพบชื่อรุ่น หากคุณกำลังจะใช้ไซต์นี้ให้เขียนชื่อโมเดลทั้งหมดเช่น bigscience/bloom-560m
• เข้าสู่เส้นทางโมเดล
• รอ Evaluation Score (Loss) ข้อความบนเทอร์มินัล

cli-evaluate.mp4

สร้างเมนู

• ป้อนชื่อโมเดลของคุณตัวอย่างเช่น gpt2 คุณสามารถพบชื่อรุ่น หากคุณกำลังจะใช้ไซต์นี้ให้เขียนชื่อโมเดลทั้งหมดเช่น bigscience/bloom-560m
• เข้าสู่เส้นทางโมเดล
• ป้อนความยาวขั้นต่ำที่เครื่องกำเนิดไฟฟ้าของคุณสามารถสร้างได้
• ป้อนความยาวสูงสุดที่เครื่องกำเนิดไฟฟ้าของคุณสามารถสร้างได้
• เลือกหากคุณต้องการทำฟังก์ชั่นตัวอย่าง
• เลือกหากคุณต้องการฟังก์ชั่นการหยุดเร็ว
• ระบุระดับการเรียกซ้ำ
• เลือกหากคุณต้องการฟังก์ชั่นการเรียกซ้ำตัวเอง

การทำงานแบบเรียกซ้ำได้อย่างไร?

• สมมติว่าเราให้ a, ตามระดับเมล็ดและการเรียกซ้ำคือ 1 ฉันจะใช้ผลลัพธ์เดียวกันสำหรับตัวอย่างนี้เพื่อทำความเข้าใจการทำงานที่แม่นยำยิ่งขึ้น

• ด้วยการเรียกซ้ำตัวเองสมมติว่าเอาต์พุตของเครื่องกำเนิดคือ b ดังนั้นเมล็ดพันธุ์ถัดไปจะเป็น b และเอาต์พุตของเครื่องกำเนิดไฟฟ้าคือ c เอาต์พุตสุดท้ายคือ a, c . มันสามารถใช้สำหรับการสร้างเอาต์พุตแบบสุ่ม

• หากไม่มีการเรียกซ้ำตัวเองสมมติว่าเอาต์พุตของเครื่องกำเนิดคือ b ดังนั้นเมล็ดพันธุ์ถัดไปจะเป็นเอาท์พุทของ a, b และ Generator คือ a, b, c ผลลัพธ์สุดท้ายคือ a, b, c สามารถใช้สำหรับพรอมต์ที่แม่นยำยิ่งขึ้น

• ตอนนี้มี 6 คำสั่งที่คุณสามารถใช้ได้ สิ่งเหล่านี้คือการสร้าง, ตั้ง, พิมพ์, ชัดเจน, CLS และคำสั่งออก คำสั่ง CLEAR และ CLS กำลังล้างคำสั่งเทอร์มินัลและออกจะกลับไปที่เมนูหลักของแอปพลิเคชัน CLI

สร้างเมนู

• ในเมนูสร้างคุณสามารถป้อนเมล็ดและรับข้อความที่สร้างขึ้น

ตั้งค่าเมนู

• คุณสามารถเลือกตัวแปรเพื่อตั้งค่า คุณสามารถเลือกตัวแปรที่คุณระบุไว้ก่อนยกเว้นชื่อรุ่นและเส้นทางรุ่น

เมนูพิมพ์

• พิมพ์ค่าตัวแปรปัจจุบัน

cli-generate_compressed.mp4

แอปพลิเคชัน GUI

• เริ่มต้นแอปพลิเคชันด้วยคำสั่ง python start.py --gui คำสั่งนี้จะค้นหาไฟล์ 'VENV' สำหรับสภาพแวดล้อมเสมือนจริง มันจะตั้งค่าการพึ่งพาและเริ่มแอปพลิเคชัน หลังจากการตั้งค่าครั้งแรกมันจะเริ่มต้นแอปพลิเคชัน GUI

แท็บตัวแยกวิเคราะห์

• คุณสามารถเลือกช่องทำ เครื่องหมายการแปล เพื่อแปลพรอมต์ของคุณเป็นภาษาอังกฤษ คุณสามารถเขียนพรอมต์ในส่วนผสมของภาษาอังกฤษและภาษาพื้นเมืองของคุณ Googletranslator ใช้สำหรับการแปล ช่องทำเครื่องหมายนี้ใช้งานได้กับ การแยกวิเคราะห์ไฟล์ทั้งหมดในโฟลเดอร์ 'พรอมต์' และ แยกวิเคราะห์และบันทึก ฟังก์ชันการทำงาน
• แยกวิเคราะห์ไฟล์ทั้งหมดในปุ่มโฟลเดอร์ 'พรอมต์' กำลังรับไฟล์ markdown ทั้งหมดภายใต้โฟลเดอร์ 'พรอมต์' ซึ่งอยู่ในไดเรกทอรี repo และแยกวิเคราะห์และบันทึกไว้
• เลือกปุ่ม Prompt Files กำลังจะแสดงหน้าต่างเพื่อให้คุณเลือกไฟล์ Markdown ของคุณ คุณสามารถเลือกหลายไฟล์
• หลังจากการเลือกกด แยกวิเคราะห์และบันทึก ปุ่มแล้วก็เสร็จสิ้น คุณสามารถค้นหาไฟล์ข้อความของคุณในโฟลเดอร์ไฟล์ markdown ที่คุณเลือกอยู่ที่ไหน คุณจะเห็นว่ามันแยกออกจากคำแนะนำเชิงลบและบวกด้วยชื่อ _negative และ _positive
• อย่าแก้ไข พรอมต์เชิงบวก และ แจ้งให้ทราบล่วงหน้า ในไฟล์ Markdown สิ่งเหล่านี้ใช้เพื่อแยกพรอมต์ คุณสามารถเพิ่มหรือลดสัญลักษณ์ # แต่อย่าแก้ไขสตริง
• อย่าเพิ่มเครื่องหมายจุลภาค "," ในตอนท้ายของแถวของคุณ Parser กำลังเพิ่มให้คุณ

gui-parse.mp4

แท็บชุดข้อมูล

• บันทึกลิงก์พรอมต์ในไฟล์ txt เพียงเลือกรูปภาพจาก Civitai และคัดลอกและวางลิงก์ลงในไฟล์ TXT
• เลือกชุดข้อมูลลิงค์ของคุณซึ่งมีให้ในไฟล์ TXT
• เขียนชื่อไฟล์บวกและลบตามที่คุณต้องการตั้งชื่อ
• คลิก สร้างปุ่มชุดข้อมูล และรอ คุณสามารถดูความคืบหน้ากับ ProgressBar ใน GUI และใน Terminal

gui-create.mp4

แท็บ Civitai

• ค้นหาไฟล์ wantedPrompts.txt และไฟล์ unwantedPrompts.txt ภายใต้โฟลเดอร์ชุดข้อมูลและเปลี่ยนสำหรับพรอมต์ที่ต้องการและไม่ต้องการ แยกพรอมต์ของคุณด้วยเครื่องหมายจุลภาค
• ให้ชื่อไฟล์บวกและลบสำหรับชุดข้อมูล อย่าให้เส้นทาง ไฟล์จะถูกสร้างขึ้นในโฟลเดอร์ชุดข้อมูล
• เลือกแอตทริบิวต์
• เลือก All สำหรับ NSFW หากคุณต้องการรับภาพทั้งหมด
• คลิกปุ่ม Enhance และรอการโหลดแถบเพื่อให้เสร็จสิ้นในเทอร์มินัลจากนั้นตรวจสอบโฟลเดอร์ชุดข้อมูล

gui-civitai_compressed.mp4

แท็บรถไฟ

• ป้อนชื่อรุ่นของคุณ คุณสามารถพบชื่อรุ่น
• เข้าสู่ยุคขนาดแบทช์
• ป้อนชื่อโฟลเดอร์สำหรับรุ่นของคุณ โมเดลของคุณจะถูกบันทึกลงในโฟลเดอร์ 'ชุดข้อมูล'
• เลือกชุดข้อมูลเพื่อฝึกด้วยรุ่น
• คลิกปุ่ม รถไฟ แล้วรอ เสร็จ !!! ข้อความที่จะปรากฏเหนือปุ่ม

gui-train.mp4

ประเมินแท็บ

• เลือกชุดข้อมูลของคุณซึ่งใช้สำหรับการฝึกอบรม
• ป้อนชื่อโมเดลของคุณที่คุณใช้สำหรับการฝึกอบรม อย่าป้อนชื่อโฟลเดอร์ของโมเดลของคุณ
• เลือกโฟลเดอร์ที่บันทึกไว้ของรุ่นของคุณ
• คลิกปุ่ม ประเมิน และรอ คะแนนการประเมินผล เหนือปุ่ม

gui-evaluate.mp4

สร้างแท็บ

• ป้อนชื่อโมเดลของคุณที่คุณใช้สำหรับการฝึกอบรม อย่าป้อนชื่อโฟลเดอร์ของโมเดลของคุณ
• เลือกโฟลเดอร์ที่บันทึกไว้ของรุ่นของคุณ
• ป้อนความยาวขั้นต่ำที่รุ่นสามารถสร้างได้
• ป้อนความยาวสูงสุดที่รุ่นสามารถสร้างได้
• ทำเครื่องหมายในช่องถ้าคุณต้องการคุณสมบัติเหล่านี้
• ตั้งค่าระดับการเรียกซ้ำด้วยตัวเลื่อน มันจะให้โมเดลผลลัพธ์ก่อนหน้าในแต่ละขั้นตอน
• เลือกหากคุณต้องการเรียกซ้ำตัวเอง
• ป้อนเมล็ดพันธุ์ของคุณและคลิก สร้างปุ่มข้อความ และรอให้ข้อความปรากฏในกล่องข้อความ

gui-generate.mp4

การทำงานแบบเรียกซ้ำได้อย่างไร?

• สมมติว่าเราให้ a, ตามระดับเมล็ดและการเรียกซ้ำคือ 1 ฉันจะใช้ผลลัพธ์เดียวกันสำหรับตัวอย่างนี้เพื่อทำความเข้าใจการทำงานที่แม่นยำยิ่งขึ้น
• ด้วยการเรียกซ้ำตัวเองสมมติว่าเอาต์พุตของเครื่องกำเนิดคือ b ดังนั้นเมล็ดพันธุ์ถัดไปจะเป็น b และเอาต์พุตของเครื่องกำเนิดไฟฟ้าคือ c เอาต์พุตสุดท้ายคือ a, c . มันสามารถใช้สำหรับการสร้างเอาต์พุตแบบสุ่ม
• หากไม่มีการเรียกซ้ำตัวเองสมมติว่าเอาต์พุตของเครื่องกำเนิดคือ b ดังนั้นเมล็ดพันธุ์ถัดไปจะเป็นเอาท์พุทของ a, b และ Generator คือ a, b, c ผลลัพธ์สุดท้ายคือ a, b, c สามารถใช้สำหรับพรอมต์ที่แม่นยำยิ่งขึ้น

ตัวอย่าง

ตัวอย่างตัวแยกวิเคราะห์

• คุณสามารถเข้าถึงไฟล์ Markdown ที่ใช้สำหรับภาพด้านล่าง
• รูปภาพได้รับการปรับขนาดด้วยโครงการ Aiupscalegui

ตัวอย่างเครื่องกำเนิดไฟฟ้า

• การแก้ไขการพิมพ์ผิดบางอย่างจะทำสำหรับพรอมต์ที่สร้างขึ้น
• FEALY_POSITITY_GPT2-75_MODEL ใช้สำหรับตัวอย่างเครื่องกำเนิดไฟฟ้า รุ่นเครื่องกำเนิดไฟฟ้าที่ได้รับการฝึกฝนสามารถพบได้ที่นี่
• โมเดลได้รับการฝึกฝนด้วย 75 ยุคและขนาดแบทช์ 1 ชุด

ตัวอย่างที่ 1

• ชื่อรุ่น: GPT2
• ความยาวขั้นต่ำ: 10
• ความยาวสูงสุด: 50
• คุณสมบัติปิดอยู่
• ระดับการเรียกซ้ำ: 0
• การเรียกซ้ำตัวเอง: ปิด
• เมล็ดพันธุ์: ผู้หญิงที่เป็นผู้ใหญ่รัศมีเชิงกล
• สร้างพรอมต์: ผู้หญิงที่เป็นผู้ใหญ่, รัศมีเชิงกล, (ผมสีฟ้า: 1.2), สลับซับซ้อน, รายละเอียดสูง, โฟกัสที่คมชัด, ละคร, สาวสวย, ภาพถ่ายดิบ, 8K UHD, ธัญพืชฟิล์ม, Caustics, การกระเจิงใต้ผิวดิน, การสะท้อน, (คาวบอยช็อต: 1 )

ตัวอย่างที่ 2

• ชื่อรุ่น: GPT2
• ความยาวขั้นต่ำ: 10
• ความยาวสูงสุด: 50
• คุณสมบัติปิดอยู่
• ระดับการเรียกซ้ำ: 1
• เมล็ดพันธุ์: เทพธิดา
• การเรียกซ้ำตัวเอง: ปิด
• สร้างพรอมต์: เทพธิดา, (พื้นผิวที่มีรายละเอียดที่ซับซ้อน: 1.2), (ประกายไฟฟ้า, เครื่องหัก: 1.1), (ตัวเครื่อง: 1.2), ดูผู้ชม, (Smart Sharpen: 1.2), หน้าอกขนาดกลาง, (ผีใน The เชลล์), ความลึกของสนาม, พื้นหลังการไล่ระดับสี, แสงไฟ, แสงไฟ, แสงที่น่าทึ่ง, การบดเคี้ยวโดยรอบ, แสงปริมาตร, แสงสตูดิโอมืออาชีพ, ปากปิด, รายละเอียดอย่างบ้าคลั่ง, (ผลงานชิ้นเอก), Absurdres, HDR, HDR