researcher

Forscher

Researcher spart Ihnen Zeit, indem es Google und GPT-3 verwendet, um Fragen präzise und präzise zu beantworten. Es enthält Zitate, sodass Sie nach Quellen suchen können.

Es ist ein anderes Suchparadigma als die alleinige Verwendung von Google oder GPT. Bei Google müssen Sie mehrere SEO-Spam-Inhalte durchsuchen, um die Antwort zu finden. Bei GPT können Sie nicht sicher sein, ob die Antwort, die Sie erhalten haben, richtig ist oder woher sie stammt.

Der Forscher löst diese Probleme, indem er relevante Abschnitte aus den Google-Suchergebnissen in GPT-3 einspeist, um eine Übersicht zu erstellen.

Vergleich

Durch die Einspeisung von Webkontext in ein großes Sprachmodell können Sie die Genauigkeit verbessern und die Informationen überprüfen. In diesem Beispiel haben Sie keine Möglichkeit, die Informationen von ChatGPT zu überprüfen. Es ist auch nicht sehr spezifisch. Der Forscher liefert Ihnen zitierte Quellen und spezifischere Informationen, indem er sich auf den Kontext von Google verlässt.

ChatGPT	Forscher

Screenshots

Technische Fragen und Antworten	Empfehlung

Installation

• Klonen Sie dieses Repository mit Git.
• Stellen Sie sicher, dass Sie Python 3.8+ installiert haben. Seit dem 22.12. unterstützt Pytorch Python 3.11 nicht auf allen Plattformen, daher wird Python 3.10 empfohlen.
• Führen Sie cd researcher aus, um in den Repository-Ordner zu gelangen.
• Führen Sie pip install -r requirements.txt aus, um die benötigten Pakete zu installieren.
• Geben Sie Ihren OpenAI-API-Schlüssel in settings.py in die Variable OPENAI_KEY ein.
• Führen Sie python app.py aus, um die Anwendung auszuführen. Standardmäßig wird es auf Port 5000 ausgeführt.
• [Optional] Standardmäßig durchsucht Researcher die Google-Suchergebnisse. Dies ist nicht immer zuverlässig. Wenn Sie mehr Zuverlässigkeit wünschen, registrieren Sie eine benutzerdefinierte Suchmaschine bei Google, dann:
  • Geben Sie den API-Schlüssel in settings.py in die Variable SEARCH_KEY ein.
  • Geben Sie die benutzerdefinierte Suchmaschinen-ID in SEARCH_ID ein.
  • Ändern Sie SEARCH_METHOD in api .

Verwendung

• Besuchen Sie http://127.0.0.1:5000 um die Suchoberfläche anzuzeigen.
• Geben Sie eine Suchanfrage ein und klicken Sie auf „Suchen“. Fragen funktionieren am besten.
• Je nach Abfrage kann es 10 bis 20 Sekunden dauern, bis Ergebnisse vorliegen. Sie sehen eine Zusammenfassung und die Quellen, die zur Erstellung der Zusammenfassung verwendet wurden.

Wie es funktioniert

• Die ersten Suchergebnisse werden von Google abgerufen
• Jede der Websites wird mithilfe von Anfragen gecrawlt
• Der Site-HTML wird in einer lokalen SQLite-Datenbank gespeichert
• Die Ergebnisse werden gefiltert, um Websites mit zu vielen Anzeigen oder Trackern zu entfernen
• Von jeder Website werden Textblöcke abgerufen und anhand der Suchabfrage eingestuft
• Die obersten N Textblöcke werden verwendet, um mithilfe von GPT-3 eine Zusammenfassung zu erstellen
• Die Zusammenfassung wird zusammen mit den Quellen angezeigt, aus denen sie erstellt wurde

FAQ

• Kostet das Geld? Dabei wird die OpenAI-API verwendet, die je nach Guthaben Geld kosten kann. Jede Abfrage sollte etwa 1/3 Cent kosten. Wenn Sie den API-Modus verwenden, kann dies aufgrund Ihrer Google-Suchen auch Geld kosten. Google Custom Search bietet 100 kostenlose Suchanfragen pro Tag, danach kostet es 5 US-Dollar pro 1000 Suchanfragen.
• Warum dauert es so lange, bis Ergebnisse vorliegen? Der Forscher führt eine Suche durch, durchsucht dann die Websites, um relevanten Kontext zu erhalten, und ruft dann eine API auf, um den Kontext zusammenzufassen. Diese Vorgänge dauern lange. Das Anpassen einiger Einstellungen kann dies beschleunigen. Insbesondere Chunk-Länge und Ergebnisanzahl.
• Warum erhalte ich einen 429-Fehler? Standardmäßig kratzt Researcher die Google-Ergebnisse. Wenn Sie dies zu oft tun, kann die Fehlermeldung 429 auftreten. Wechseln Sie in den API-Modus (siehe oben), um dies zu vermeiden.
• Warum erhalte ich die Fehlermeldung, dass die Zusammenfassung nicht generiert werden konnte? Gelegentlich gibt es ein Problem mit der OpenAI-API. Dies führt dazu, dass die Zusammenfassung nicht angezeigt wird. Führen Sie einfach die Suche erneut aus, um das Problem zu beheben.

Zukünftige Verbesserungen

• Beschleunigen Sie den Suchvorgang
• Verbessern Sie den Algorithmus, um optimale Textblöcke zu finden
• Versuchen Sie es mit einem selbst gehosteten Modell anstelle von GPT-3 (vielleicht PEGASUS zur Zusammenfassung oder eine fein abgestimmte BLOOM- oder T5-Variante).
• Fassen Sie Textblöcke zusammen, bevor Sie sie an GPT-3 übergeben