Send us a text KI-Agenten, die unsere Projekte umsetzen, während wir den Weihnachtsbaum kaufen – und eine Sprache, die sich messbar verändert: In der letzten Episode des Jahres blicken Sigurd und Carsten auf ein Jahr zurück, das ihre Arbeitswelt transformiert hat. Außerdem: Eine Studie des Max-Planck-Instituts zeigt, wie Wörter wie „delve", „meticulous" und „unpack" seit ChatGPT in unsere gesprochene Sprache einziehen. Droht eine KI-geprägte Einheitssprache? Und was bedeutet das für zukünftig...
All content for Knowledge Science - Alles über KI, ML und NLP is the property of Sigurd Schacht, Carsten Lanquillon and is served directly from their servers
with no modification, redirects, or rehosting. The podcast is not affiliated with or endorsed by Podjoint in any way.
Send us a text KI-Agenten, die unsere Projekte umsetzen, während wir den Weihnachtsbaum kaufen – und eine Sprache, die sich messbar verändert: In der letzten Episode des Jahres blicken Sigurd und Carsten auf ein Jahr zurück, das ihre Arbeitswelt transformiert hat. Außerdem: Eine Studie des Max-Planck-Instituts zeigt, wie Wörter wie „delve", „meticulous" und „unpack" seit ChatGPT in unsere gesprochene Sprache einziehen. Droht eine KI-geprägte Einheitssprache? Und was bedeutet das für zukünftig...
Send us a text KI-Agenten, die unsere Projekte umsetzen, während wir den Weihnachtsbaum kaufen – und eine Sprache, die sich messbar verändert: In der letzten Episode des Jahres blicken Sigurd und Carsten auf ein Jahr zurück, das ihre Arbeitswelt transformiert hat. Außerdem: Eine Studie des Max-Planck-Instituts zeigt, wie Wörter wie „delve", „meticulous" und „unpack" seit ChatGPT in unsere gesprochene Sprache einziehen. Droht eine KI-geprägte Einheitssprache? Und was bedeutet das für zukünftig...
Send us a text Sind Large Language Models eine Sackgasse oder der Königsweg zur künstlichen Superintelligenz? In dieser Episode tauchen wir tief in die aktuelle Stanford-Forschung ein und entdecken: Die Wahrheit liegt dazwischen. LLMs bilden ein mächtiges „Substrat" aus latenten Mustern – doch für echte Intelligenz fehlt eine entscheidende Koordinationsschicht. Wir diskutieren, warum Multiagentensysteme, adaptive Steuerung und das richtige „Ködern" im Ozean der Sprachmodelle der Schlüssel zur...
Send us a text Transformer-Architekturen stoßen an ihre Grenzen – doch was kommt danach? In dieser Episode diskutieren Sigurd und Carsten das revolutionäre Konzept „Nested Learning" von Google Research. Die Idee: Hierarchische Lernstrukturen mit unterschiedlichen Geschwindigkeiten, inspiriert von den Gehirnwellen des Menschen. Könnte dies der Schlüssel zu echtem kontinuierlichem Lernen sein? Und was bedeutet das für die Zukunft personalisierter KI-Assistenten? Support the show
Send us a text In dieser Episode diskutieren Sigurd Schacht und Carsten Lanquillon über mechanistische Interpretierbarkeit - das Reverse Engineering von KI-Modellen. Sie beleuchten, warum dieses Forschungsfeld demokratisiert werden muss, welche Hürden dabei zu überwinden sind und wie emergentes Verhalten wie Induction Heads die Art verändert, wie wir über KI-Intelligenz denken. Ein Plädoyer für mehr Zugänglichkeit in der KI-Forschung jenseits der großen Tech-Labs. Support the show
Send us a text In dieser technischen Sendung setzen Sigurd Schacht und Carsten Lanquillon ihre Diskussion über die Methoden CircuitLens fort. Während Weight Lenses atomare Features ohne Trainingsdaten identifizieren können, gehen Circuit Lenses einen Schritt weiter: Sie entschlüsseln, wie Features im Kontext zusammenwirken. Die Hosts erklären, warum diese Berliner Forschung einen Paradigmenwechsel in der Analyse neuronaler Netze darstellt - von isolierten Features zu vernetzten Konzepten. Sup...
Send us a text Wie können wir verstehen, was in einem Sprachmodell wirklich passiert? Sigurd und Carsten tauchen tief ein in ein Paper aus Deutschland, das zeigt, wie man Features in neuronalen Netzen identifizieren kann – ohne riesige Datensätze und ohne aufwändiges Training. Von Sparse Auto Encodern über Transcoders bis zur neuen Weight Lens-Methode: Erfahrt, wie Mechanistic Interpretability den Weg zu transparenteren KI-Systemen ebnet. Plus: Einblicke vom AI Transparency Days H...
Send us a text Warum erfindet KI manchmal Fakten, die nicht existieren? In dieser Episode analysieren Sigurd und Carsten ein faszinierendes Paper, das mit Sparse Autoencodern dem Ursprung von Halluzinationen auf den Grund geht. Das Überraschende: Füttert man Transformer mit reinem statistischen Rauschen, aktivieren sie stabile interne Konzepte wie Schildkröten, Segelboote oder Baseballs. Die Erkenntnis: Je unsicherer der Input, desto stärker greift das Modell auf seinen internen Bias zurück. ...
Send us a text Sigurd Schacht und Carsten Lanquillon nehmen das Paper "Ten Principles of AI Agent Economics" kritisch unter die Lupe. Sind KI-Agenten wirklich dabei, unsere Wirtschaft und Gesellschaft grundlegend zu verändern? Die beiden Hosts diskutieren, wie Agenten Entscheidungen treffen, welche gesellschaftlichen Auswirkungen drohen und warum das wichtigste Prinzip – AI Alignment – zwar richtig, aber viel zu allgemein formuliert ist. Eine spannende Episode über notwendige Regulierung und ...
Send us a text In dieser spannenden Episode diskutieren die Master-Studenten Marc Guggenberger und Irma Heithoff über ihre Reise zur NEMI-Konferenz in Boston und die kommenden AI Transparency Days (17.-19. Oktober) in Nürnberg. Erfahren Sie, wie das europäische EDIF-Projekt KI-Forschern Zugang zu wichtigen Ressourcen ermöglicht und warum die Veranstaltung bewusst Brücken zwischen technischer Tiefe (Mechanistic Interpretability) und praktischer Anwendung (AI Governance) schlägt. Ein Muss...
Send us a text Haben KI-Systeme Präferenzen? Können sie sich unwohl fühlen? Leonard Dung von der Ruhr-Universität Bochum erforscht das mögliche Wohlbefinden von Sprachmodellen. Im Gespräch erklärt er, wie sein Team mit dem "Agent Think Tank" testet, worüber Modelle wie Claude gerne sprechen, warum sie immer wieder zu philosophischen Themen über Bewusstsein tendieren und was passiert, wenn man KI-Systemen virtuelle Münzen gibt. Eine faszinierende Reise an die Grenze zwischen Simulation und ech...
Send us a text In der letzten Episode vor der Sommerpause diskutieren Sigurd Schacht und Carsten Lanquillon die neuesten Modellveröffentlichungen von OpenAI, Anthropic und Google. Neben technischen Durchbrüchen wie GPT-5 und den neuen Open-Source-Modellen beleuchten sie kritisch die ethischen Herausforderungen einer Welt voller KI-Agenten. Besonders brisant: Mark Zuckerbergs Vision von KI als "bessere Freunde" und die Gefahr emotionaler Abhängigkeiten von digitalen Begleitern. Support the show
Send us a text In dieser Episode tauchen Sigurd und Carsten in die faszinierende Welt der KI-gesteuerten Wirtschaftssimulationen ein. Sie diskutieren das Paper "LLM Economist" aus Princeton, das zeigt, wie Sprachmodelle eine komplette Gesellschaft simulieren und dabei als virtueller Chefökonom optimale Steuerpolitik entwickeln können. Mit überraschenden Ergebnissen: Eine 93% Steigerung der sozialen Wohlfahrt! Die Hosts erklären In-Context Reinforcement Learning, Stackelberg-Gleichgewichte und...
Send us a text In dieser Episode analysieren Sigurd Schacht und Carsten Lanquillon das Paper "Humanity Faces Existential Risk from Gradual Disempowerment" von Jan Kulweit et al. Die beiden Hosts untersuchen, wie die zunehmende Automatisierung durch KI-Systeme unsere Einflussmöglichkeiten auf drei zentrale gesellschaftliche Bereiche verändert: Wirtschaft, Kultur und Staat. Dabei diskutieren sie konkrete Beispiele wie Softbanks Vision von einer Billion KI-Agenten. Ein besonderer Fokus liegt auf...
Send us a text In dieser Episode erkunden Sigurd und Carsten, wie KI-Modelle menschliche Präferenzen und Handlungen verstehen lernen können. Sie diskutieren das spannende Paper "Towards Machine Theory of Mind" und zeigen, wie die Kombination von Bayesian Networks mit Large Language Models neue Wege eröffnet, um aus beobachteten Handlungen auf zugrundeliegende Präferenzen zu schließen. Besonders faszinierend: Diese Methoden lassen sich auch nutzen, um die "mentalen Landkarten" von KI-Modellen ...
Send us a text In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Herausforderungen vertrauenswürdiger KI-Antworten ein. Vom Digital Nürnberg Festival bis zur Studie „Weaver: Closing the Generation Verification Gap“ diskutieren sie, wie schwache Verifizierer und Massenabstimmungen KI-Halluzinationen entlarven. Erfahrt, warum kleinere Modelle durch cleveres Verifikations-Ensemble große Konkurrenz herausfordern – und welche Rolle „Human-Compatible AI“ für...
Send us a text In unserer heutigen Episode tauchen wir tief in die faszinierende Frage ein, ob große Sprachmodelle eigene Wertesysteme entwickeln. Wir diskutieren das bahnbrechende Paper "Utility Engineering: Analyzing and Controlling Emerging Value Systems in AIs" und teilen unsere eigenen Forschungsergebnisse zu psychologischen Profilen verschiedener KI-Modelle. Dabei entdecken wir überraschende und teilweise beunruhigende Erkenntnisse: Größere Modelle entwickeln nicht nur konsistente inner...
Send us a text In dieser Folge von Knowledge Science diskutieren Sigurd Schacht und Carsten Lanquillon, warum KI-Modelle möglicherweise "wissen", wenn sie evaluiert werden – und was das für die Praxis bedeutet. Anhand eines provokanten Papers („Large Language Models Often Know When They’re Being Evaluated“) hinterfragen sie, ob Modelle tatsächlich bewusst reagieren oder nur Muster erkennen. Mit kritischen Einordnungen zur Evaluierungspraxis, einem Blick auf den Hawthorne-Effekt bei Mensch und...
Send us a text Sigurd Schacht und Carsten Lanquillon tauchen tief in die Welt der neuesten KI-Modelle von Anthropic ein – Claude Opus 4 und Sonnet 4. Wie verändern diese Tools die Softwareentwicklung? Warum könnte autonomes Coding unsere Arbeitsweise revolutionieren? Und welche ethischen Fallstricke bergen hochalignierte KI-Systeme? Praxisnahe Einblicke, überraschende Whistleblower-Fälle und die brisante Debatte um KI-Sicherheit in einer Episode, die Entwickler:innen und Tech-Enthusiast:innen...
Send us a text In dieser Episode von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der Reasoning-Modelle ein. Wie können wir KI effizienter und kostengünstiger trainieren, ohne Leistung einzubüßen? Mit dem Paper TINA (Tiny Reasoning Models via LoRA) zeigen sie, wie schon 9 Dollar und LoRA-Technologie kleine Modelle auf ein gutes Niveau heben. Ein Blick auf Open Science, KI-Agenten und die Zukunft des Schlussfolgerns – praxisnah entmystifiziert. Tina: Tiny ...
Send us a text In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der KI-Optimierung ein: Wie können Leerlaufzeiten genutzt werden, um Sprachmodelle effizienter zu machen? Mit einem Blick auf das Paper Sleep-Time-Compute der UC Berkeley diskutieren sie, wie Vorverarbeitung und Caching Latenzen reduzieren, Kosten sparen und sogar bessere Ergebnisse liefern. Sleep time Compute: https://arxiv.org/abs/2504.13171 Support the show
Send us a text KI-Agenten, die unsere Projekte umsetzen, während wir den Weihnachtsbaum kaufen – und eine Sprache, die sich messbar verändert: In der letzten Episode des Jahres blicken Sigurd und Carsten auf ein Jahr zurück, das ihre Arbeitswelt transformiert hat. Außerdem: Eine Studie des Max-Planck-Instituts zeigt, wie Wörter wie „delve", „meticulous" und „unpack" seit ChatGPT in unsere gesprochene Sprache einziehen. Droht eine KI-geprägte Einheitssprache? Und was bedeutet das für zukünftig...
