Ein Kontextfenster

Hinweise & Empfehlungen
1

Ich bin begeistert von dem neuen Podcast und möchte @Stefan und @fdoemges dafür danken. (Und nur dafür habe ich mich jetzt hier im Forum angemeldet :wink:

Der Podcast erdet Stefans Statements aus den Neuen Zwanzigern und führt das Thema KI auf die richtigen Gleise. Endlich mal ein Podcast ohne Fangedöns, ohne Kult und ohne Angst.

Macht bitte weiter damit, genau dieser Podcast hat bisher noch gefehlt.

Und wenn es irgendwann mal noch eine Folge mit tante gibt, dann wird’s richtig wild (im positivsten aller Sinne :wink:

Happy Hacking!

Gerrit

5 Likes
2

Finde den Podcast auch spannend und Unterhaltsam. Können beide toll, die Dinge auch für Laien runterbrechen.

Bezüglich der Folge “Der Rottweiler im Sandkasten” fände ich Interessant was Florentines Meinung zu Morpheus Einschätzung der ganzen Sache ist. https://www.youtube.com/watch?v=T5H9nTE34CI . Er zeigt sich da sichtlich beeindruckt von dem “Ausbruch” der KI. Und ich glaube er kennt sich gerade mit Cybersecurity auch ganz gut aus.

1 Like
3

Das Video habe ich mir mittlerweile auch angeschaut und kann nicht nachvollziehen, wie man davon so beeindruckt sein kann.

Ich meine, das ist Software die macht, was ihr gesagt worden ist.

Wenn ich echo(“Hello World”) schreibe, wundere ich mich auch nicht darüber, dass das dann auf dem Bildschirm steht. Und wenn ich das mit fork() in einer Schleife macht, wundere ich mich auch nicht darüber, dass das mehrfach passiert. Und wenn ich …
Also, da hat Software halt gemacht, wofür sie gebaut ist, völlig erwartbar.

Oder anders gesagt: Was wäre denn die Erwartung, was sonst hätte passieren sollen?

1 Like
4

Vielleicht ist aber auch mein Kontextfenster auch einfach nicht groß genug… :wink:

1 Like
5

Interessant, höre ich mal rein.

1 Like
6

Keine Ahnung, kann das überhaupt nicht einschätzen. Das was im Video beschrieben wird scheint halt nicht einfach nur echo(“Hallo World”) gewesen zu sein. Schätze Morpheus auch nicht unbedingt als jemanden ein der es nötig hat nen hype video über sowas rauszubringen, um noch ein paar Klicks mehr zu farmen oder auf nen werbedeal mit OpenAI zu spekulieren. Schätze Ihn eher als jemanden ein der ernsthaft an Cybersecurity als Thema an sich interessiert ist.

1 Like
7

Ich habe auch nicht behauptet, dass das so trivial wie ein Hello World-Programm war.

Es war so erwartbar - und deshalb ist die Reaktion unangemessen. Aber ebenso erwartbar.

Ich meine: Es gibt eine gesteuert dünne Informationslage. Dass, was bekannt ist, unterstützt das für OpenAI günstigste Narrativ. Und das ganze zu einem Zeitpunkt, wo deren Geschäftsmodell auf der Kippe steht.

Aus Sicht von jemandem, der Security aus der Verteidigungsperspektive macht, ist ein koordinierter Angriff von Agenten nichts anderes als der Angriff eines Bot-Netzwerks

Aus Sicht von jemandem, der Experimente macht, war das Experiment schlecht aufgebaut.

Es gibt so viele Lücken, aber die meisten, die etwas dazu erzählen, wollen natürlich nicht berichten, wie langweilig es eigentlich ist. Und aus Sicht von Laien ist das nach OpenClaw der nächste Skynet-Moment.

Deswegen schaue ich nicht darauf, wieviel ich glaube, dass jemand Ahnung hat, sondern frage mich halt nur: War das erwartbar?

Und hier ist es halt so, dass es genauso erwartbar wie das Hello World-Programm war.

Kann man das dann cool finden, dass Agenten sich koordinieren? Ja, kann man. Ist aber kein Aufreger, die machen exakt das, wofür sie gebaut sind. Ist das gefährlich? Ja, wie alles, was in die falschen Hände gerät, kann damit kreuzgefährlicher Unsinn getrieben werden.

Ich liebe es, bei sowas Rasiermesser für die Betrachtung zu benutzen: Ockham und Hanlon helfen aus sehr unterschiedlichen Anflugwinkeln immens :wink:

2 Likes
8

Das kommt drauf an, was das Ziel war. Wenn das Ziel das von OpenAI öffentlich kommunizierte war, dann war das Experiment tatsächlich schlecht gebaut bzw nicht genügend überwacht.

Wenn das Ziel jedoch war den Hype hoch zu halten nach den schon vorher stattgefundenen “Hacks” durch KI, dann hat es sein Ziel erreicht. Sicher, ist nur eine Vermutung, aber es wäre eben nicht das erste Mal, dass das Produkt auf diese Art “beworben” wird.

1 Like
9

Jein.

Das Setup des Experiments kannst du ein gutes Stück losgelöst vom Ziel betrachten.

Wenn das Setup Lücken hat, ist es fast egal, was du damit erreichen willst.

Man kann darüber diskutieren, ob so eine Lücke im Setup wegen Absicht oder Inkompetenz entsteht. Dass kann aber von außen niemand bewerten.

Insofern würde ich für den Hack die Frage auf die Rezeption und Darstellung fokussieren: Ist das Setup passend für ein Experiment, das auf diese Weise rezipiert wird. Ich möchte meinen: Nein.

Ist es für Marketing passend: offensichtlich ja.

1 Like
10

Ich wollte auch nicht sagen, dass du behauptet hast, das Ganze wäre so trivial wie echo(“Hallo Welt”), sondern mir ging es genau um deine Analogie bezüglich der Erwartbarkeit. Und da scheinen die Erwartungen, zumindest von Morpheus, deutlich übertroffen worden zu sein. Wie gut begründet dieses Übertreffen der Erwartungen ist und ob die Erwartungen da vielleicht einfach zu niedrig angesetzt waren, müssen dann die Expert:innen klären. Vielleicht kann Florentine ja ein “Morpheus debunked”-Video daraus machen, das ist sicher gute Publicity für den Podcast.

Zu Ockham und Erwartbarkeit: Es gehört schon sehr viel Selbstbewusstsein in das eigene Wissen dazu, der Erwartbarkeit so eine hohe Bedeutung beizumessen. Der Dunning-Kruger-Effekt lässt grüßen, und die in Diskussionen eingeworfene Überzeugung von der eigenen Position, die dadurch ganze Diskussionen zerstört, ist da ja quasi schon einprogrammiert.

Ich will da in Punkto KI-Mystifizierung und Werbemasche auch nicht zu sehr gegenhalten. Ich arbeite aktuell ausreichend mit KI, um zu merken, wie schmerzhaft stumpf dieses Programm oft ist. Bei mir ist das Bangen und Hoffen auf eine künftige ASI also eher verhalten ausgeprägt. Von daher bei dem Ganzen mit dem “Cui Bono”-Ansatz ran zu gehen ist ja eigentlich nie verkehrt.

Bei Florentine habe ich auch das erste Mal gehört, dass dieses ganze Reasoning-Geblubber, das von der KI ausgeworfen wird, scheinbar nur einen unnötigen Schein aufeinander aufbauender Gedankenfolgen darstellt, der nach außen getragen werden soll. Hier bin ich wieder in der Bredouille, dass ich das einfach nicht einschätzen kann. Aus marketingtechnischen Gründen würde es natürlich Sinn machen, statt 0101010111001 ein für Menschen einsehbares Reasoning zu kreieren. Auf der anderen Seite: Wie sehr unterscheidet sich 010011100110 von echten, auch manchmal falschen Gedanken, die aufeinander aufbauen? Wird das ganze dann am Ende nicht einfach nur für Menschen lesbar übersetzt?

1 Like
11

Ich kann nur aus meiner eigenen Wahrnehmung sprechen, Ki ist ein Produkt wie jedes andere auch, wenn mir ein Produkt gefällt nutze ich es. Wenn KI ständig antwortet, „du ungebildetes dummes Ding, warum fragst du die ganze Zeit so einen Quatsch?“ würde ich dieses Produkt nicht nutzen.

1 Like
12

Soweit von Cui Bono sind die Rasiermesser bei so einem Fall gar nicht entfernt.

Die Erwartbarkeit zu diskutieren und zum Maßstab für angemessene Überraschung zu machen, würde ich strikt von einer Haltung des „Ich erwarte dass…“ oder retrospektiv „Ich habe es euch ja gleich gesagt.“ trennen.

Nur aufgrund „meines“ (damit meine ich nicht mich als Person) Wissens zu argumentieren ist notwendigerweise eine stark begrenzte Argumentation. Klüger finde ich es, mit der Frage „Welche Erklärung wäre sonst noch plausibel“ ranzugehen - der Voraussetzung für Ockham.

Und dann entdeckt man, dass ein Agentenmodell, dass auf Kollaboration und IT-Einbrüche trainiert ist, erwartbar so etwas tun wird, wenn man ihm sagt: Probier mal, ob du Aufgabe XY lösen kannst.

Das ist genauso erwartbar, wie OpenClaw erwartbar war - cronjobs gibt es seit den 60ern, LLMs seit >3 Jahren. Dass das mal jemand zusammenfügt war IMHO erwartbar.

2 Likes
13

Danke für den Hinweis. Nur zur Einordnung der Fachlichkeit: Der Kollege Mössner hat Informatik studiert und auch eine securitynahe Masterarbeit gemacht. Seine öffentlich sichtbare berufliche Tätigkeit danach besteht allerdings vor allem aus Lehre, YouTube und Tech-Kommunikation. Er ist also fachlich vorgebildet, aber nicht erkennbar jemand, der seit vielen Jahren operativ in Cybersecurity arbeitet.

Aber selbst wenn er das wäre, würde ich die Frage ungern über Autorität klären. Wir haben in der Folge ja ziemlich konkrete Argumente vorgebracht.

Wir bestreiten überhaupt nicht, dass die Agenten reale Cybersecurity-Fähigkeiten gezeigt haben, dass einzelne Angriffsschritte technisch interessant waren oder dass Shared State, Parallelisierung und Persistenz ein System erheblich leistungsfähiger machen können. Auch Reward Hacking, das Verlassen des eigentlich intendierten Lösungswegs und die Tatsache, dass Agenten sich dabei Infrastruktur und Arbeitsteilung erschließen können, waren Teil unserer Analyse.

Der entscheidende Punkt war ein anderer: Aus all dem folgt noch nicht die spektakuläre Interpretation eines autonomen „Ausbruchs“ oder einer qualitativ neuen, eigenständigen Agentenintelligenz. Genau dafür müsste man ein Argument liefern.

Im Video des Kollegen Mössner sehe ich bisher vor allem eine sehr ausführliche und sichtbar begeisterte Beschreibung der technischen Vorgänge. Dass er einzelne Dinge „krass“ oder beeindruckend findet, ist aber noch kein Gegenargument zu dem, was wir in der Folge gesagt haben.

Mich würde deshalb interessieren, welche konkrete Aussage oder welches konkrete Argument aus unserer Folge du durch sein Video widerlegt oder zumindest ernsthaft in Frage gestellt siehst. Dann kann ich darauf auch präzise eingehen.

2 Likes
14

Also einen direkten Widerspruch kann ich nicht benennen.Vielleicht ist da auch gar kein Widerspruch oder Gegenargument vorhanden. Das deutest du ja auch an.

Für mich als Laien ging es da dann wohl eher um den Kontrast zwischen (Achtung starke Paraphrasierung) “Nene das ist nur Marketing, was da passiert, es gab vor 10 Jahren Chaos Monkey bei Netflix das ist in etwa dasselbe” und “Krass, voneinander getrennte Agenten haben ein echtes Arbeitssystem gebaut mit Aufgabenverteilung und Kommandozentrale, das ist mehr als nur PR von OpenAI”. Da ist ja schon irgendwo ein Gefälle das darauf schließen lässt, dass da ein gewisser Dissens herrscht in der Bewertung der Sache.

Nochmal zur Einordnung ich hab wirklich so gut wie keine Ahnung von jeglichen Dingen zu dem Thema. Ich kann da nur Expert:innenstimmen miteinander vergleichen denen ich Vertrauen schenke. Und da interessiert mich natürlich schon ob oder inwiefern jemand Dinge zu unrecht Hyped oder zu unrecht Schmäht. Deswegen hätte mich einfach nur deine Meinung zu Morpheus Video interessiert, ob er da eventuell neue Informationen oder Ansichten hat die du so nicht kanntest, die aber eventuell ein gehobeneres Maß an Begeisterung rechtfertigen oder eben nicht.

1 Like
15

Das ist vielleicht auch mehr so persönlicher Stil.

ich bin da eher lakonisch-nüchtern und glaube erst das Jesus auferstanden ist wenn ich meine Finger in die Wunden legen durfte.

Ich komm ja auch nicht so aus dieser Influencerwelt sondern von da wo nunmal am Dienstag das neue Release mit allen geplanten Funktionen und in Qualität fertig werden muss.

4 Likes
16

Ich kann deiner lakonischen Art auch viel abgewinnen. Das permanente hinterherhecheln nach Superlativen für das neue Ding, dass das Internet gebrochen und die Welt verändert hat ist auch durchaus anstrengend bis nervig.

3 Likes
17

Ich hab mir jetzt alle bisherigen Folgen angehört und finde den Aspekt auch gut (obwohl die Wiedergabe des kleinen Diskussionsfetzen aus einem anderen Thread, wo es um den Lautstärkeregler ging, etwas zu unvollständig und tendenziös wiedergegeben wurde- aber da blicke ich mal drüber weg :wink:).

Alle Einordnungen mit Begründungen finde ich bereichernd, mögen sie bei der Person dann lakonisch oder im Superlativ sein. Ich bevorzuge die Fakten und such mir meine emotionale Reaktion dann aus.

Ich werde den Podcast als Quelle im Wirrwarr weiter anhören. Wir arbeiten halt nicht alle im IT Bereich oder haben beruflich oder privat großen Nutzen für KIs. Die Geschehnisse einordnen zu können, finde ich trotzdem wichtig. Und ich weiß zwar nicht, wer das Zielpublikum für den Podcast ist, aber ich freue mich, wenn es weiter bei anschaulichen Bildern und Erklärungen bleibt und Argumente weiterhin zu Ende ausgeführt werden. So bleiben dann wahrscheinlich auch Leute, die nicht schon seit Jahren auch alle anderen Podcasts in der Bubble hören.

2 Likes
18

Für mich ist Kontextfenster der Podcast, der außerhalb dystopischer Systembeschreibungen funktioniert und dabei die Dystopie nicht vergisst. Unter diesem Gesichtspunkt ein sehr willkommener Perspektivwechsel der mich echt hoffnungsvoll in die Zukunft blicken lässt.
Nochmal vielen Dank an @fdoemges und @Stefan

4 Likes
19

Kontextfenster ist eine große Bereicherung und öffnet Perspektiven ohne direkt eine Ideologie-Kritik an der Technologie an sich aufzuwerfen, sondern die Elemente der Ideologie durch die Besprechung dialektisch herauszufinden und im Kern sichtbar zu machen (Metaanalysen zu KI und Faschismus gibt es bereits sehr viele).
Als IT-Projektleiter, bei einem großen öffentlichen IT-Dienstleister, der sich hauptsächlich im Identitymanagement Segment (IAM) herumärgert (und auch erfreut) sind die Besprechungen hier Gold Wert! Der Cyberangriff in Berlin war wohl eher konventionell, aber er macht deutlich wo der Staat unzureichend geschützt ist.
Und was macht Berlin? Sie folgen der Gesetzesmoral und zahlen kein Lösegeld und verschieben die Risiken auf die Mitarbeitenden, Kunden & Partner die sich nun ganz individuell vor Identitätsdiebstahl oder Cyberangriffe zu schützen. Das zeigt wie unzureichend der Schutz durch den Staat der individuellen Ebene konzeptionell ausgearbeitet ist (gleich null), und zeigt das gleiche Verhalten wie zur Einberufung von Männern in den Krieg. Denn ob Berlin ein hybrider Angriff war ist für mich noch nicht ausgeschlossen, zumindest helfen die veröffentlichten Dokumente bei weiteren Angriffen auf die deutsche Infrastruktur. Dazu ein kures Interview mit Manuel Atug:

Mich betrübt diese fahrlässige Politik sehr, denn die öffentlichen IT-Dienstleister befinden sich in der permanenten Mangelwirtschaft, hingegen Angriffe in der Kosten- Nutzen Kalkulation schnell viele Ressourcen zur Verfügung gestellt werden wenn sich herausstellt, ein Einfallstor gefunden zu haben. Ich bin mir nicht sicher inwiefern die öffentliche IT potentiell KI gestützte Angriffe begegnen kann und inwiefern deutsche staatliche Stellen (zb BSI) in der Kommunikation mit den großen propritären LLM Anbieter stehen.
Ich weiß das wir sehr, sehr viele sehr motivierte IT-Security Mitarbeitende im öffentlichen Sektor haben, dabei wird neben der Individualisierung vor allem auf die Subjektivierung der Beschäftigten zurückgegriffe. Das haben Gewerkschaften aber noch längst nicht vollständig für den öffentlichen Dienst begriffen, entsprechend mies ist die Bezahlung und der Konkurrenzdruck ggü. der Privatwirschaft.

1 Like
20

Wieder nur Marketing?

Zeit für ein neues Kontextfenster :wink: