ja, davon muss man sich lösen, wenn man es verstehen will.

das problem ist halt, dass es der poststrukturalismus nie aus der nische geschafft hat, wahrscheinlich weil die texte zu schwierig sind.

aber mit der llm haben wir jetzt den beweis, dass sie recht haben, sorry, ihr müsst alle nacharbeiten.

ich reagiere immer kratziger auf so Aussagen wie „LLMs _wissen_ XY“, oder sie hätten etwas „gelernt“. Das ist so ein absurdes Verständnis von Wissen (im Sinn von JTB), lässt GOFAI mit tatsächlicher Wissensabbildung links liegen und überlegt dabei gar nicht, wofür genAI überhaupt ein „passender“ Anwendungsfall wäre (wo es sowieso gerade meist nur zu einem shiny user interface verkommt)

Ich bin seit Wochen versucht, mal was zu „Ein Sprachmodell ist ein _Sprach_modell“ zu schreiben 🙄

@johl @danielaKay @yala was so ein bisschen qed ist, weil je nach Kontext, mit dem man auf die Aussage schaut, kann man die beabsichtigte Bedeutung rekonstruieren und es wird plausibel. Bei eindeutiger Verwendung des Begriffs wackelts dann auf einmal.

tl;dr, mspro ist ein Chatbot!

@johl @stk @danielaKay @yala semiotik ist für mich die einfach die theorie von saussure, pierce, und anderen, den strukturalistischen zeichentheorien.

die poststrukturalistische sichtweise baut gewissermaßen auf saussure auf, geht aber eben einen entscheidenden schritt davon weg und sagt, dass es das "bezeichnete" eben nicht gibt, sondern dass zeichen nur wieder auf andere zeichen verweisen, auf spezifische kontexte, bezüge und assoziationen, etc.

@stk @johl @danielaKay @yala ich bin da etwas offener, was diese begriffe angeht, weil sie mir eh zu unterbestimmt sind. da soll jeder gerne rumdefinieren.

ich finde ja spannend, was wir aus den begriffen machen. "intelligent" scheint mir in meiner semantischen beobachtung nur ein system, so lange wie wir ihr funktionieren nicht verstanden haben.

insofern glaube ich, dass llms, wie vorher taschenrechner und bilderkennung, aufhören werden, als intelligent zu gelten.

@johl @stk @danielaKay @yala barthes ist ein grenzfall, eher.

und den begriff "semiotik" verwende ich eigentlich nicht, den habt ihr aufgebracht. ich habe nur gesagt, was ich darunter verstehe.

@stk @johl @danielaKay @yala

(ich fürchte, was nerds so schwierigkeiten macht, sich diese formen des wissens anzueignen, sind die nie eindeutig geklärten begriffe, die munter nebeneinander existierenden semantischen räume, der unterschiedlichen schulen und kein in einem nachschlagewerk für immer geklärten begriffe. auf das freie flottieren der zeichen (in theorie und praxis) muss man sich erstmal einstellen. es gibt zb. keinen denker, der sich je als poststrukturell bezeichnet hat, etc.)

ja, protokolllayer ist eigentlich eine gute metapher, denn das ist die sprache: ein protokolllayer.

das inkludiert, dass wir womöglich alle unterschiedliche implementationen des protokolls haben und nur weil wir dieselben signale austauschen, sie noch lange nicht dasselbe auf unseren machinen auslösen.

d.h.: „bedeutung“ ist grundsätzlich unzugänglich und wird auch nicht „übertragen“. alles was wir haben, ist das protokoll und unsere erwartungen an die erwartungen der anderen.

Oha, wusst icht nicht @johl Was haltst Du davon, das OSI-Modell um 1 paar linguistische Layers nach oben zu erweitern? Die Layer8++ Protokollfamilie basierend auf generativer Transformationsgrammatik & den ersten Semantik-Layer9 & c.

Den Spasz hab ich mir ansatzweise bei 1em Vortrag gemacht. Allenthalben entrüstete Blicke der Inschinöre & als ich dann noch 1en Layer0 vorschlug, um auch Dark Fiber abbilden zu können, war man empört über so 1 Sakrilieg. 😎

@mspro @stk @danielaKay @yala

Sry, hab mich extrem verkürzt ausgedrückt. Das geht auf layer8 latürnich ganz anders los, denn Menschen sind ja kein Sprachmodell.

- Objekt- und Emotionserkennung, Gestik, Phonetik/Phonologie

-Morphologie also Wortbildung Generative Transformationsgrammatik , Syntax & Logik
usw.
Das ergibt mindestens 4 Layers wie bei TCP/P und die sind interagierend.

Die Semantik ibeginnt schon bei Layer 8 & zieht sich dann hinauf bis ganz oben.

@stk @mspro @johl

das ist der punkt: m.e. _beweisen_ llms, dass semantik in der sprache selbst codiert ist und keine rummeinende sprecher braucht. semantik ist genau wie grammatik ein set von regeln, nur sind die regeln vielfältiger, complexer und fuzzyier, als dass man sie formalisieren könnte. aber man kann die regeln offenbar aus genug daten syndizieren und operationalisieren.

und auch wenn tausend disziplinen semantik anders definieren. sie liegen falsch.

@harkank @johl naja wenn du jetzt eine dir passende Begriffsdefinition aussuchst, die gerade zu deiner These passt, kann ich auch kontern: Nein, Semantik kommt ja aus einem Akt des Verstehens, ein LLM gibt nur Text/Sprache aus und das ist erst einmal nur Buchstabensuppe wenn dieser Kognitionsakt fehlt, peng, fertig.

Das klingt für mich gerade eher nach dem Philo-Pattern, sich sein persönliches Theorieinselchen zu schnitzen.

dass llms (in den allermeisten fällen) funktionieren ist eine tatsache, die man auch als kritischer mensch anerkennen muss und d.h. es gibt jetzt zwei interpretationsmöglichkeiten:

entweder man glaubt die llms "verstehen" (das ist die ki-bro interpretation) oder man muss zugeben, dass semantik etwas vom "verständnis" unabhängiges ist (meine interpretation).

semantik ist nicht bedeuten und verstehen, sondern die infrastruktur mit der wir bedeuten und verstehen.

@stk @harkank @johl Es ist oft ein bisschen müßig, über Definitionen zu debattieren.

Zu sagen, dass „Bedeutung […] weder notwendig noch hinreichend für […] Semantik“ ist, ist zumindest gewöhnungsbedürftig, wenn Semantik gängig als „Bedeutungslehre“ übersetzt wird.

Du könntest es auch entweder als „LLMs sind (mehr oder weniger) gut darin, Semantik zu simulieren.“ formulieren oder einen neuen Begriff für was auch immer LLMs da tun verwenden.

@johl @HeptaSean @stk @harkank

das, was dich von llms unterscheidet ist das verstehen und das beinhaltet die möglichkeit für ein update der angeeigneten semantiken.

aber dafür muss man sich eben auch mal vom eingübten verständnis lösen und auf eine andere sichtweise einlassen. llms können das nicht, menschen schon.

@stk @harkank @johl ich würde den wissensbegriff da erstmal gerne ausklammern und weiß auch nicht, wie er uns weiterhelfen soll. was "weißt" denn du, was über deine aneigneten semantiken hinausgeht?

semantik (meine erwartung an eure erwartungen, wie sich zeichen zueiander verhalten) ist für mich weder das zeichen, noch seine bedeutung, noch sein kontext, sondern immer schon das "zeichen in seinem kontext" und der ist immer konkret.

sehe da keinen platz für "pragmatik"

wobei man sich das halt nicht naiv vorstellen darf und den kontext auf die sprechsituation reduziert (die aber natürlich dazu gehört).

zum kontext in dem ich ein wort höre, gehören eben auch all die anderen male, wo ich dieses wort gehört oder selbst gebraucht habe, sowie die anderen worte, die ich mit ihm assoziiere und all die geschichten, die das wort möglich macht.

semantik ist immer das wort in der konstellation und beziehung zu anderen worten. siehe latent space.

@harkank @johl ich komme immer wieder zu dem Schluss, dass du Pragmatik meinst, dir aber einfach der Begriff Semantik besser dafuer gefaellt.

(Abgesehen davon, dass du Semantik ja auch erschliessen kannst in Zusammenhaengen, in denen du ein Zeichen bislang noch _nicht_ wahrgenommen hast, ganz ohne latent space, sondern durch logisches in-Beziehung-setzen)

ich kann semantiken erschließen, gerade weil ich bereits semantiken habe, die es mir erlauben einen neuen begriff zu erschließen. das können unter umständen auch "logische schlussfolgerungen" sein, oder metaphern oder erzählungen, oder erfahrungen, die aber alle eben auch nur angeeignete semantiken sind.

die vorstellung eines verstehens, dass außerhalb bereits angeeigneter semantik passiert ist schlicht infrastrukturvergessen.

@stk @harkank @johl mal kurz gefragt, wie du die trennung von semantik und pragmatik übereinbekommst.

wenn jemand denselben satz in relevant unterschiedlichen sprechsituationen spricht, dann ist das für mich auch semantisch ein anderer satz. für dich nicht?

ich vestehe, dass man für pragmatik nochmal einen extra untersuchungsschritt einrichtet, aber die konzeptionelle trennung von semantik kommt mir sehr konstruiert vor.

@stk @johl @harkank Kann man wohl beides machen. Die Fragen sind fast die gleichen:

Wie gut sind LLMs darin, Semantik zu simulieren (wir?) bzw. Semantik zu betreiben (Michael?), wie gut können sie noch werden und warum (nicht)?

Was unterscheidet unseren Umgang mit Sprache von dem von LLMs, die kein Konzept von Semantik (wir?) bzw. kein Konzept von Bedeutung und Meinung, kein Verstehen (Michael?) besitzen?

gut gesagt:

ich fände es auch einfach ehrlich von "euerer" seite einmal einzugestehen, dass ihr keinen fucking schimmer habt, was ihr meint, wenn ihr "verstehen" oder "bedeuten" sagt. das ist nur platzhalter für "das da was in meinem hirn passiert, dass es macht, das alles sinn ergibt".

auch ich habe auch keine ahnung, was das ist, aber mein modell von semantik kommt weitgehend ohne diese mystischen begriffe aus.

@wackJackle @stk @harkank @johl die routing-theorie des witzes verstehe ich nicht ganz.

meine these wäre eher: jede form von humor erfordert eine regelverletztung, wenn eine llm also nicht zufällig einen gelernten witz reproduziert, wird sie außer stande sein, gute witze zu erzählen.

+1, und das in vielfacher Hinsicht:
1. die, die es entwickeln, reden die Probleme klein;
2. die, die es entwickeln, versprechen zu viel;
3. die, die es entwickeln, halten alle anderen für dumm genug, 1. und 2. zu glauben;
4. bei denen, die es fördern überlagert die Gewinnsucht die Kompetenz, obiges zu prüfen;
5. bei denen, die es nutzen genügt das Niveau der Produkte um sie als Erleichterung zu sehen;
6. jene, die Ahnung haben und so die Finger davonlassen sind zu wenig.

Prost!

@stk @johl @harkank Das sei Dir gerne zugegeben. „Keinen fucking Schimmer“ ist vielleicht etwas übertrieben, aber, ja, ist schwierig, exakt zu fassen.

Funktioniert dafür im Alltag erstaunlich gut, sich auf die Bedeutung von Begriffen zu einigen. Und ist eine der Leerstellen, die bei LLMs gelegentlich auffallen, wenn sie Dinge frei erfinden.

lass kognition draußen. wir reden miteinander, indem wir semantiken manipulieren und diese manipulation unsere latentspaces readjustiert, wann immer wir einander sprechake an den kopf werfen.

das, was "versteht" ist nicht dein gehirn, sondern die sprachliche struktur zwischen uns.