Knowledge Science - Alles über KI, ML und NLP

EXPLORE

Society & Culture

© 2024 PodJoint

https://is1-ssl.mzstatic.com/image/thumb/Podcasts211/v4/83/a1/ba/83a1ba99-ae79-0ae5-f265-a0b96cb40a0d/mza_15322778499479109639.jpg/600x600bb.jpg

Knowledge Science - Alles über KI, ML und NLP

Sigurd Schacht, Carsten Lanquillon

252 episodes

13 hours ago

Send us a text Die erste Folge 2026 startet mit einem Ausblick: Werden Agenten dieses Jahr endlich in der breiten Arbeitswelt ankommen? Sigurd und Carsten diskutieren, warum 2025 zwar das "Jahr der Agenten" genannt wurde, diese jedoch kaum über Programmier-Workflows hinauskamen. Der Hauptfokus liegt auf einem aktuellen MIT-Paper zu "Recursive Language Models" – einem cleveren Architekturansatz, der das Kontextlängenproblem von LLMs elegant löst. Statt Modelle mit Millionen Tokens zu überforde...

Show more...

All content for Knowledge Science - Alles über KI, ML und NLP is the property of Sigurd Schacht, Carsten Lanquillon and is served directly from their servers with no modification, redirects, or rehosting. The podcast is not affiliated with or endorsed by Podjoint in any way.

Send us a text Die erste Folge 2026 startet mit einem Ausblick: Werden Agenten dieses Jahr endlich in der breiten Arbeitswelt ankommen? Sigurd und Carsten diskutieren, warum 2025 zwar das "Jahr der Agenten" genannt wurde, diese jedoch kaum über Programmier-Workflows hinauskamen. Der Hauptfokus liegt auf einem aktuellen MIT-Paper zu "Recursive Language Models" – einem cleveren Architekturansatz, der das Kontextlängenproblem von LLMs elegant löst. Statt Modelle mit Millionen Tokens zu überforde...

Show more...

Episodes (20/252)

Knowledge Science - Alles über KI, ML und NLP

Episode 221: „Delve into it" – Wie ChatGPT unsere Sprache verändert (und was 2024 sonst noch passiert ist)

Send us a text KI-Agenten, die unsere Projekte umsetzen, während wir den Weihnachtsbaum kaufen – und eine Sprache, die sich messbar verändert: In der letzten Episode des Jahres blicken Sigurd und Carsten auf ein Jahr zurück, das ihre Arbeitswelt transformiert hat. Außerdem: Eine Studie des Max-Planck-Instituts zeigt, wie Wörter wie „delve", „meticulous" und „unpack" seit ChatGPT in unsere gesprochene Sprache einziehen. Droht eine KI-geprägte Einheitssprache? Und was bedeutet das für zukünftig...

2 weeks ago

33 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 220 - Das fehlende Layer zur Superintelligenz: Warum LLMs keine Sackgasse sind – aber auch nicht ausreichen

Send us a text Sind Large Language Models eine Sackgasse oder der Königsweg zur künstlichen Superintelligenz? In dieser Episode tauchen wir tief in die aktuelle Stanford-Forschung ein und entdecken: Die Wahrheit liegt dazwischen. LLMs bilden ein mächtiges „Substrat" aus latenten Mustern – doch für echte Intelligenz fehlt eine entscheidende Koordinationsschicht. Wir diskutieren, warum Multiagentensysteme, adaptive Steuerung und das richtige „Ködern" im Ozean der Sprachmodelle der Schlüssel zur...

3 weeks ago

35 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 219 Nested Learning: Ist Deep Learning nur eine Illusion?

Send us a text Transformer-Architekturen stoßen an ihre Grenzen – doch was kommt danach? In dieser Episode diskutieren Sigurd und Carsten das revolutionäre Konzept „Nested Learning" von Google Research. Die Idee: Hierarchische Lernstrukturen mit unterschiedlichen Geschwindigkeiten, inspiriert von den Gehirnwellen des Menschen. Könnte dies der Schlüssel zu echtem kontinuierlichem Lernen sein? Und was bedeutet das für die Zukunft personalisierter KI-Assistenten? Support the show

1 month ago

37 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 218 - Mechanistische Interpretierbarkeit - Warum wir verstehen müssen, wie Sprachmodelle wirklich ticken

Send us a text In dieser Episode diskutieren Sigurd Schacht und Carsten Lanquillon über mechanistische Interpretierbarkeit - das Reverse Engineering von KI-Modellen. Sie beleuchten, warum dieses Forschungsfeld demokratisiert werden muss, welche Hürden dabei zu überwinden sind und wie emergentes Verhalten wie Induction Heads die Art verändert, wie wir über KI-Intelligenz denken. Ein Plädoyer für mehr Zugänglichkeit in der KI-Forschung jenseits der großen Tech-Labs. Support the show

1 month ago

29 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 217 - Circuit Lenses: Den KI-Kontext entschlüsseln - Teil 2

Send us a text In dieser technischen Sendung setzen Sigurd Schacht und Carsten Lanquillon ihre Diskussion über die Methoden CircuitLens fort. Während Weight Lenses atomare Features ohne Trainingsdaten identifizieren können, gehen Circuit Lenses einen Schritt weiter: Sie entschlüsseln, wie Features im Kontext zusammenwirken. Die Hosts erklären, warum diese Berliner Forschung einen Paradigmenwechsel in der Analyse neuronaler Netze darstellt - von isolierten Features zu vernetzten Konzepten. Sup...

2 months ago

31 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 216 - Features verstehen ohne Datenhunger: Der Weight Lens-Ansatz

Send us a text Wie können wir verstehen, was in einem Sprachmodell wirklich passiert? Sigurd und Carsten tauchen tief ein in ein Paper aus Deutschland, das zeigt, wie man Features in neuronalen Netzen identifizieren kann – ohne riesige Datensätze und ohne aufwändiges Training. Von Sparse Auto Encodern über Transcoders bis zur neuen Weight Lens-Methode: Erfahrt, wie Mechanistic Interpretability den Weg zu transparenteren KI-Systemen ebnet. Plus: Einblicke vom AI Transparency Days H...

2 months ago

39 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 215: Wenn Rauschen zu Geschichten wird - Wie Transformer halluzinieren

Send us a text Warum erfindet KI manchmal Fakten, die nicht existieren? In dieser Episode analysieren Sigurd und Carsten ein faszinierendes Paper, das mit Sparse Autoencodern dem Ursprung von Halluzinationen auf den Grund geht. Das Überraschende: Füttert man Transformer mit reinem statistischen Rauschen, aktivieren sie stabile interne Konzepte wie Schildkröten, Segelboote oder Baseballs. Die Erkenntnis: Je unsicherer der Input, desto stärker greift das Modell auf seinen internen Bias zurück. ...

2 months ago

36 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 214 - Die 10 Gebote der Agenten-Ökonomie: Wunschdenken oder Wegweiser?

Send us a text Sigurd Schacht und Carsten Lanquillon nehmen das Paper "Ten Principles of AI Agent Economics" kritisch unter die Lupe. Sind KI-Agenten wirklich dabei, unsere Wirtschaft und Gesellschaft grundlegend zu verändern? Die beiden Hosts diskutieren, wie Agenten Entscheidungen treffen, welche gesellschaftlichen Auswirkungen drohen und warum das wichtigste Prinzip – AI Alignment – zwar richtig, aber viel zu allgemein formuliert ist. Eine spannende Episode über notwendige Regulierung und ...

3 months ago

44 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 213 - AI Transparency Days 2025: Von Boston nach Nürnberg - Brücken bauen zwischen KI-Forschung und Praxis

Send us a text In dieser spannenden Episode diskutieren die Master-Studenten Marc Guggenberger und Irma Heithoff über ihre Reise zur NEMI-Konferenz in Boston und die kommenden AI Transparency Days (17.-19. Oktober) in Nürnberg. Erfahren Sie, wie das europäische EDIF-Projekt KI-Forschern Zugang zu wichtigen Ressourcen ermöglicht und warum die Veranstaltung bewusst Brücken zwischen technischer Tiefe (Mechanistic Interpretability) und praktischer Anwendung (AI Governance) schlägt. Ein Muss...

3 months ago

24 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 212 - Leonard Dung - AI Welfare: Wie wir das Wohlbefinden von Sprachmodellen messen

Send us a text Haben KI-Systeme Präferenzen? Können sie sich unwohl fühlen? Leonard Dung von der Ruhr-Universität Bochum erforscht das mögliche Wohlbefinden von Sprachmodellen. Im Gespräch erklärt er, wie sein Team mit dem "Agent Think Tank" testet, worüber Modelle wie Claude gerne sprechen, warum sie immer wieder zu philosophischen Themen über Bewusstsein tendieren und was passiert, wenn man KI-Systemen virtuelle Münzen gibt. Eine faszinierende Reise an die Grenze zwischen Simulation und ech...

3 months ago

50 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 211 - GPT-5, GPT-OSS & die Ethik der KI-Agenten: Wenn Maschinen zu Freunden werden

Send us a text In der letzten Episode vor der Sommerpause diskutieren Sigurd Schacht und Carsten Lanquillon die neuesten Modellveröffentlichungen von OpenAI, Anthropic und Google. Neben technischen Durchbrüchen wie GPT-5 und den neuen Open-Source-Modellen beleuchten sie kritisch die ethischen Herausforderungen einer Welt voller KI-Agenten. Besonders brisant: Mark Zuckerbergs Vision von KI als "bessere Freunde" und die Gefahr emotionaler Abhängigkeiten von digitalen Begleitern. Support the show

5 months ago

44 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 210 - KI-Finanzminister im Test: 93% mehr soziale Wohlfahrt durch Sprachmodelle

Send us a text In dieser Episode tauchen Sigurd und Carsten in die faszinierende Welt der KI-gesteuerten Wirtschaftssimulationen ein. Sie diskutieren das Paper "LLM Economist" aus Princeton, das zeigt, wie Sprachmodelle eine komplette Gesellschaft simulieren und dabei als virtueller Chefökonom optimale Steuerpolitik entwickeln können. Mit überraschenden Ergebnissen: Eine 93% Steigerung der sozialen Wohlfahrt! Die Hosts erklären In-Context Reinforcement Learning, Stackelberg-Gleichgewichte und...

5 months ago

40 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 209 - Die schleichende Entmachtung: Wie KI-Systeme bereits heute unseren Einfluss auf Wirtschaft, Kultur und Staat untergraben können.

Send us a text In dieser Episode analysieren Sigurd Schacht und Carsten Lanquillon das Paper "Humanity Faces Existential Risk from Gradual Disempowerment" von Jan Kulweit et al. Die beiden Hosts untersuchen, wie die zunehmende Automatisierung durch KI-Systeme unsere Einflussmöglichkeiten auf drei zentrale gesellschaftliche Bereiche verändert: Wirtschaft, Kultur und Staat. Dabei diskutieren sie konkrete Beispiele wie Softbanks Vision von einer Billion KI-Agenten. Ein besonderer Fokus liegt auf...

5 months ago

45 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 208 - Theory of Mind für KI: Wenn Maschinen lernen, uns zu verstehen

Send us a text In dieser Episode erkunden Sigurd und Carsten, wie KI-Modelle menschliche Präferenzen und Handlungen verstehen lernen können. Sie diskutieren das spannende Paper "Towards Machine Theory of Mind" und zeigen, wie die Kombination von Bayesian Networks mit Large Language Models neue Wege eröffnet, um aus beobachteten Handlungen auf zugrundeliegende Präferenzen zu schließen. Besonders faszinierend: Diese Methoden lassen sich auch nutzen, um die "mentalen Landkarten" von KI-Modellen ...

6 months ago

33 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 207 - KI-Verifikation: Wie wir Antworten vertrauen können – Generation Gap & schwache Verifizierer

Send us a text In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Herausforderungen vertrauenswürdiger KI-Antworten ein. Vom Digital Nürnberg Festival bis zur Studie „Weaver: Closing the Generation Verification Gap“ diskutieren sie, wie schwache Verifizierer und Massenabstimmungen KI-Halluzinationen entlarven. Erfahrt, warum kleinere Modelle durch cleveres Verifikations-Ensemble große Konkurrenz herausfordern – und welche Rolle „Human-Compatible AI“ für...

6 months ago

36 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 206 - Haben KI-Modelle eigene Werte? Emergente Wertesysteme in Sprachmodellen

Send us a text In unserer heutigen Episode tauchen wir tief in die faszinierende Frage ein, ob große Sprachmodelle eigene Wertesysteme entwickeln. Wir diskutieren das bahnbrechende Paper "Utility Engineering: Analyzing and Controlling Emerging Value Systems in AIs" und teilen unsere eigenen Forschungsergebnisse zu psychologischen Profilen verschiedener KI-Modelle. Dabei entdecken wir überraschende und teilweise beunruhigende Erkenntnisse: Größere Modelle entwickeln nicht nur konsistente inner...

6 months ago

38 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 205 - KI-Modelle unter Beobachtung: Verändern Evaluierungen das Verhalten?

Send us a text In dieser Folge von Knowledge Science diskutieren Sigurd Schacht und Carsten Lanquillon, warum KI-Modelle möglicherweise "wissen", wenn sie evaluiert werden – und was das für die Praxis bedeutet. Anhand eines provokanten Papers („Large Language Models Often Know When They’re Being Evaluated“) hinterfragen sie, ob Modelle tatsächlich bewusst reagieren oder nur Muster erkennen. Mit kritischen Einordnungen zur Evaluierungspraxis, einem Blick auf den Hawthorne-Effekt bei Mensch und...

7 months ago

31 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 204 - Claude Opus/Sonnet 4 zwischen Innovation und Ethik"

Send us a text Sigurd Schacht und Carsten Lanquillon tauchen tief in die Welt der neuesten KI-Modelle von Anthropic ein – Claude Opus 4 und Sonnet 4. Wie verändern diese Tools die Softwareentwicklung? Warum könnte autonomes Coding unsere Arbeitsweise revolutionieren? Und welche ethischen Fallstricke bergen hochalignierte KI-Systeme? Praxisnahe Einblicke, überraschende Whistleblower-Fälle und die brisante Debatte um KI-Sicherheit in einer Episode, die Entwickler:innen und Tech-Enthusiast:innen...

7 months ago

44 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 203 - TINA Reasoning: Kleine Modelle, große Wirkung mit LoRA

Send us a text In dieser Episode von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der Reasoning-Modelle ein. Wie können wir KI effizienter und kostengünstiger trainieren, ohne Leistung einzubüßen? Mit dem Paper TINA (Tiny Reasoning Models via LoRA) zeigen sie, wie schon 9 Dollar und LoRA-Technologie kleine Modelle auf ein gutes Niveau heben. Ein Blick auf Open Science, KI-Agenten und die Zukunft des Schlussfolgerns – praxisnah entmystifiziert. Tina: Tiny ...

8 months ago

29 minutes

Knowledge Science - Alles über KI, ML und NLP

Episode 202 - KI im Schlafmodus: Wie Sleep-Time-Compute Sprachmodelle effizienter macht

Send us a text In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der KI-Optimierung ein: Wie können Leerlaufzeiten genutzt werden, um Sprachmodelle effizienter zu machen? Mit einem Blick auf das Paper Sleep-Time-Compute der UC Berkeley diskutieren sie, wie Vorverarbeitung und Caching Latenzen reduzieren, Kosten sparen und sogar bessere Ergebnisse liefern. Sleep time Compute: https://arxiv.org/abs/2504.13171 Support the show

8 months ago

30 minutes