Verantwortungsvolle Verwendung von GitHub Copilot-Pull Request Zusammenfassungen

Informationen zu Zusammenfassungen der Copilot Pull Requests

Zusammenfassungen der Copilot Pull Requests ist ein KI-gesteuertes Feature, mit dem du eine Zusammenfassung der Änderungen erstellen kannst, die in einem Pull Request vorgenommen wurden, welche Dateien davon betroffen sind und worauf ein Reviewer beim Review achten sollte.

Wenn ein Benutzer eine Zusammenfassung anfordert, durchsucht Copilot den Pull Request und bietet eine Übersicht über die Änderungen, die in Prose vorgenommen wurden, sowie eine Aufzählung der Änderungen mit den Dateien, die sie beeinflussen.

Du kannst eine Zusammenfassung an den folgenden Stellen generieren:

• In der Beschreibung eines neuen Pull Requests, den Sie erstellen
• In der Beschreibung eines vorhandenen Pull Requests durch Bearbeiten des öffnenden Kommentars
• In einem Kommentar zur Standard-Zeitleiste eines Pull Requests

Die einzige unterstützte Sprache für den Zusammenfassungen der Copilot Pull Requests ist Englisch.

Zusammenfassungen der Copilot Pull Requests verwendet einen einfachen Prompt Flow, der die Copilot-API ohne zusätzliche trainierte Modelle nutzt. Dies verwendet das generische große Sprachmodell.

Antwortgenerierung

Der aktuelle Prozess verwendet ein Large Language Model, um den Auto-Vervollständigungs-Prozess zu starten und die Zusammenfassung des Pull Requests zu generieren.

Pipeline-Ansatz

Wenn ein Benutzer eine Zusammenfassung anfordert, wird ein Workflow ausgelöst. Der Workflow verwendet die Code-Diffs, um einen Eingabeaufforderungsaufruf zu erstellen, der Copilot, eine Zusammenfassung des Pull Requests zu generieren. Die Zusammenfassungsanforderung initiiert einen Pipelineprozess, der unformatierte Diffs von zusammenfassungsfähigen Dateien in einer Eingabeaufforderung enthält, und fordert Copilot auf, eine allgemeine Zusammenfassung für den Pull Request zu generieren.

Ausgabeformatierung

Sie können dieses Feature beim Erstellen eines Pull Requests starten, indem Sie die Beschreibung des Pull Requests nach der Erstellung oder in einem Kommentar im Thread zu Pull Requests bearbeiten. Beim Starten generiert Copilot eine aus zwei Teilen bestehende Zusammenfassung:

• Ein in Textform geschriebener Absatz mit einer Übersicht über die Änderungen im Pull Request.
• Eine Aufzählung der wichtigsten Änderungen mit Verweis auf die entsprechenden Codezeilen, in denen diese Änderungen vorgenommen werden.

Bei größeren Pull Requests braucht Copilot einige Minuten zum Generieren. Je nach Unternehmenseinstellungen können Sie Ihr Feedback zu einer Zusammenfassung direkt über die Benutzeroberfläche abgeben, nachdem eine Zusammenfassung generiert wurde, damit wir das Feature weiter verbessern können.

Anwendungsfall für Zusammenfassungen von Pull Requests

Das Ziel von Zusammenfassungen der Copilot Pull Requests besteht darin, die Fähigkeit eines Autors zu optimieren, Kontext schnell bereitzustellen, wenn er eine menschliche Überprüfung anfordert, die den Freigabekontext der vorgenommenen Änderungen erfordert. Es kann dazu beitragen, die Produktivität der Entwickler zu steigern, indem die Zeit für das Öffnen eines Pull Requests reduziert wird.

Für viele Benutzer könnte es hilfreicheren Kontext für die Änderungen bereitstellen, die in einem Pull Request vorgenommen wurden, als normalerweise verfügbar wären.

Verbessern der Leistung der Zusammenfassungen von Pull Requests

Zusammenfassungen der Copilot Pull Requests als Tool verwenden, nicht als Ersatz

Das Feature soll ergänzt werden, anstatt die Arbeit eines Menschen zu ersetzen, um Kontext hinzuzufügen, und wir empfehlen Ihnen, weiterhin nützlichen Kontext beizutragen und Copilot zu ermöglichen, den Code zu analysieren und mit bestimmten Dateien zu verknüpfen. Es bleibt Ihre Verantwortung, die Genauigkeit von Informationen in einem von Ihnen erstellten Pull Requests zu überprüfen und zu bewerten.

Feedback geben

Wenn Probleme oder Einschränkungen mit Zusammenfassungen der Copilot Pull Requests auftreten, kannst du Feedback geben, indem du auf die Schaltfläche „Bad summary“ (Symbol mit Daumen nach unten) klickst, die unter dem Textfeld angezeigt wird, nachdem eine Zusammenfassung generiert wurde und bevor du auf Create pull request oder Update comment klickst.

Nachdem Sie eine Zusammenfassung als gut oder schlecht bewertet haben, können Sie schriftliches Feedback geben, indem Sie auf den angezeigten Link klicken.

Einschränkungen der Zusammenfassungen von Pull Requests

Derzeit ist unserem Team bewusst, dass es Einschränkungen für dieses Feature gibt. Viele davon werden bei der Nutzung unserer Copilot-API erwartet; Es gibt jedoch einige, die eigens bei Zusammenfassungen der Copilot Pull Requests auftreten, die sich auf einen begrenzten Umfang, längere Verarbeitungszeiten und ungenaue Antworten beziehen. Außerdem ist zu beachten, dass Benutzer die in ihrer PR verwendeten Begriffe in der KI-generierten Zusammenfassung erwarten sollten. Dieses Feature ist RAI Red Teaming unterworfen und wir werden die Wirksamkeit und Sicherheit des Features im Laufe der Zeit weiterhin überwachen. Weitere Informationen finden Sie im Microsoft AI Red Team, um in Zukunft sicherere KI zu entwickeln im Microsoft-Security-Blog.

Eingeschränkter Gültigkeitsbereich

Aufgrund der Kapazität wissen wir, dass größere Pull Requests, die auf 30 oder mehr Dateien verweisen, mehr Zeit benötigen, um gründlich verarbeitet zu werden. Wir haben derzeit keinen genauen Schwellenwert außer die ersten 30 Dateien, die berücksichtigt werden. Danach werden alle zusätzlichen Dateien aus der Zusammenfassung weggelassen. Wir arbeiten an einer Lösung für diese derzeitige Einschränkung des Anwendungsbereichs.

Verarbeitungszeit

Im Allgemeinen erwarten wir, dass eine Zusammenfassung in 40 Sekunden oder weniger zurückgegeben wird, nachdem ein Benutzer die Aktion initiiert hat. Wir haben jedoch gehört, dass dies bis zu einer Minute dauern kann, und in einigen Fällen ein paar Minuten. Wir arbeiten daran, die Verarbeitungszeit zu verringern und wir wissen, dass Benutzer möglicherweise nicht warten möchten, bis dies abgeschlossen ist, bevor Sie zu anderen Teilen des Pull Requests wechseln.

Falsche Antworten

Je mehr Eingaben und Kontext Copilot lernen kann, desto besser werden die Ausgaben. Da das Feature jedoch recht neu ist, dauert es Zeit, um Präzision mit den generierten Zusammenfassungen zu erreichen. In der Zwischenzeit kann es Fälle geben, in denen die generierte Zusammenfassung weniger genau ist und der Benutzer Änderungen vornehmen muss, bevor er seinen Pull Request mit dieser Beschreibung speichert und veröffentlicht. Darüber hinaus besteht das Risiko der so genannten „Halluzination“, bei der Copilot ungenaue Aussagen generiert. Deshalb ist die Überprüfung unbedingt erforderlich und eine sorgfältige Analyse der Ausgabe wird von unserem Team dringend empfohlen.

Erneutes Generieren von Zusammenfassungen

Pull Request-Zusammenfassungen werden nur erstellt, wenn Benutzer sie manuell anfordern. Wenn Benutzer Aktualisierungen oder Änderungen ihres Pull Request übermitteln, wird die Zusammenfassung nicht automatisch aktualisiert. Benutzer können bei Bedarf bei Copilot eine neue Zusammenfassung anfordern. Eine manuelle Überprüfung der aktualisierten Copilot-Zusammenfassung wird dringend empfohlen. Die aktualisierte Zusammenfassung birgt die gleichen Risiken für Ungenauigkeiten wie die ursprüngliche Zusammenfassung.

Replikation von Inhalten von Pull Requests

Da eine Zusammenfassung eine Gliederung der Änderungen ist, die in einem Pull Request vorgenommen wurden, wenn schädliche oder anstößige Begriffe im Inhalt des Pull Requests liegen, kann die Zusammenfassung auch diese Begriffe enthalten.

Weitere Informationen

•         [GitHub Copilot Trust Center](https://copilot.github.trust.page/)