Zurück zur Übersicht
LifeSciBench testet KI-Modelle an realistischen Forschungs- und Laboraufgaben. Erste Auswertung zeigt: der beste Modelllauf erreicht nur rund 36 Prozent Task-Passrate, die Reife für autonome Forschung bleibt damit fraglich.
OpenAI hat LifeSciBench veröffentlicht, einen fachlich orientierten Benchmark mit 750 von Expertinnen und Experten verfassten Aufgaben aus mehreren Forschungsworkflows und biologischen Domänen. Die Ankündigung ist Teil der jüngsten Erweiterung der Modellreihe GPT-Rosalind.
Die Auswertung nutzt detaillierte Bewertungsrichtlinien und Hunderttausende Bewertungsdatenpunkte. In der veröffentlichten Auswertung erreichte der bestplatzierte getestete Modelllauf rund 36 Prozent Task-Passrate, viele Aufgaben bleiben damit auch für Spitzenmodelle ungelöst.
Die Verlagerung von einfachen Wissensabfragen zu realitätsnahen, artefaktreichen Forschungsaufgaben erhöht die Aussagekraft von Tests für Pharmafirmen, Forschungslabore und Beschaffer. Die Zahlen legen nahe, dass Modelle zwar Fortschritte zeigen, für eigenständige, unüberwachte Forschungsentscheidungen aber noch nicht verlässlich genug sind.
Weiterlesen
Microsoft will Unternehmen stärker an die eigene KI-Plattform binden und zugleich den Wechsel zwischen verschiedenen Modellanbietern erleichtern. Der Konzern setzt dabei auf eigene Modelle, Agenten, Sicherheitswerkzeuge und Chips.
Eine Analyse von mehr als 800.000 arbeitsbezogenen Nachrichten zeigt, dass Beschäftigte ChatGPT häufig für Aufgaben außerhalb ihres eigenen Berufsbilds nutzen. Die Untersuchung deutet auf eine Verschiebung zwischen spezialisierten und generalistischen Rollen hin, misst jedoch weder Produktivitäts- noch Beschäftigungseffekte.
Nach einem Sicherheitsvorfall bei einer OpenAI-Modellprüfung verlangt Clem Delangue mehr Transparenz und Rechenleistung für die Entwicklung von Abwehrsystemen. Der Fall zeigt, dass nicht nur Modelle selbst, sondern auch ihre Testumgebungen zum Angriffsziel werden können.
Die neue Funktion verknüpft ChatGPT mit persönlichen Gesundheitsdaten aus Apple Health und unterstützten medizinischen Datensätzen. Der Dienst soll medizinische Versorgung unterstützen, aber keine Diagnose oder Behandlung ersetzen.
Der Kommentarbereich wird geladen, sobald du ihn erreichst.