Update auf 3.8.6: Einige Sonderzeichen in den Forumstexten sind kaputt

[andi_t]

Hallo Leute,
nachdem ich nun ein vollständiges Backup erstellt und auf meinen Testserver wieder hochgespielt habe, stehe ich nun noch vor einer dieser sagenumwobenen Zeichensatzproblematiken.
Ich hatte dabei folgendes gemacht:

1. mit mySQLDumper 1.24 einen Dump gezogen und mit derselben Version wieder auf den Testserver eingespielt jeweils mit der Einstellung utf
2. mittels ftp die Dateien aus dem Verzeichnis "upload" auf den Testserver ins selbe Verzeichnis geladen und dabei die alten überschrieben
3. Forum mittels "....../install/upgrade.php"geupdatet

Das hat nun auch alles geklappt.
Die Beiträge der User und auch die Profile sehen alle gut aus, nur einige Teile der Forumstexte sind kaputt.
acp.jpg
Was ich nicht verstehe ist, warum nur einige und nicht alle Texte zerschossen sind.
Mir ist aufgefallen, dass ich die meisten wohl in den Sprachen, bzw. Phrasen reparieren kann, gibt es da evtl. nen Tool, dass das macht, oder kann ich das direkt in einer Datei oder DB selber machen, per ACP ist das seehr langwierig.

LG Andi

[andi_t]

... niemand eine Idee?

LG Andi

[cws]

Lösung nein, Idee für die Ursache vielleicht`:
http://www.vbulletin-germany.com/for...ghlight=latin1

[andi_t]

Lösung nein, Idee für die Ursache vielleicht`:
http://www.vbulletin-germany.com/for...ghlight=latin1

... leider nicht.
Ich habe beides ausprobiert. Die besten Resultate erhielt ich mit den Originaleinstellungen des neuesten MySQLDumper (1.24). Bei latin1 hatte ich auch in den Beiträgen Zeichenfehler.
Bei den Originaleinstellungen sind die gesamten Beiträge ok. Es sind auch ca. 80% der Texte im Forum und ACP ok, aber manche zerschießts halt siehe Anhang oben.
Es wäre halt echt doof, wenn ich alle diese Texte in den Phrasen und Sprachen per Hand korrigieren muss.

Schade finde ich, dass vBulletin bei sowas keine funktionierende Lösung anbietet, sondern stattdessen den User alleine lässt. Da hätte ich bei einem kommerziellen Forum und Support etwas anderes erwartet. Das Community hierbei nicht immer helfen kann ist ja klar, aber die Leute die dafür Geld bekommen....
Schade halt, wenn man dann so pauschale Antworten bekommt, wie das liegt halt am Dumper fragen Sie doch da mal nach

LG Andi

[cws]

Na ja, Du könntest ein Support-Ticket erstellen, andererseits denke ich, dass YayDee noch auf diesen Thread stoßen wird, er hat ja eine gewisse Nähe zum Dumper

Insofern ist der Support der Gemeinde schon recht gut, wenn auch nicht immer sofort.

[cws]

Idee: Kannst Du die Sprachfiles für das ACP nicht einfach neu installieren?

[andi_t]

Hi,

Na ja, Du könntest ein Support-Ticket erstellen,

Das hatte ich schon getan, daher stammte ja die Antwort, das ich mich damit an den Dumperhersteller wenden sollte.
Wobei ich hierbei eher das Problem bei vbulletin sehe, aber das sind halt die üblichen Hotlineantworten die man ja auch von anderen Firmen kennt

andererseits denke ich, dass YayDee noch auf diesen Thread stoßen wird, er hat ja eine gewisse Nähe zum Dumper

na dann schaun mer mal.
Schade nur dass es nicht von vbulletin eine funktionierende Out-of-Box-Backuplösung gibt... Bei den vielen Anfragen zu dem Thema und den vielen Problemen wohl einer der wichtigsten Punkte an dieser Forensoftware...

Solangsam muss ich halt wirklich auf die neue Version umstellen, zur Zeit häufen sich die Spamanmeldungen, und ich wollte das Forum eh auf den neuesten Stand bringen...

Insofern ist der Support der Gemeinde schon recht gut, wenn auch nicht immer sofort.

...damit bin ich ja auch zufrieden, schließlich ist die Hilfe in der Community kostenlos, und da kann man nicht erwarten innerhalb von Minuten eine Antwort zu bekommen...

[andi_t]

Idee: Kannst Du die Sprachfiles für das ACP nicht einfach neu installieren?

... das werde ich heute Abend nochmal ausprobieren.

LG Andi

[Jaydee]

andererseits denke ich, dass YayDee noch auf diesen Thread stoßen wird

Hi,
sorry, "Jaydee" (falls ich damit gemeint war) sieht diesen Thread erst jetzt.

So etwas kann verschiedene Ursachen haben, zu klären wären erstmal folgende Fragen:


1. Laufen Produktiv-Server und (lokales?) Testsystem wirklich in der exakt selben Umgebung, Konfiguration? Sind die LAMP-Versionen gleich?
Ansonsten ist ein Vergleich schon schwierig und eine Übertragung kann - wie auf realen Servern auch - durch unterschiedliche Environments Probleme verursachen.

2. Wie ist die CHARSET Konfig, nach dem Schema MySQL-Server -> Datenbank -> Tabellen -> Felder (so ist die Hirarchie-Struktur und Vererbung), gibt es da einen "Mischmasch"?

3. Wurde zwischen Backup und Restore etwas an dem Server geändert? Vor allem bezgl. der Zeichensätze?

4. Wurde die Voreinstellung des Dumpers (UTF-8 in aktuellen Versionen) belassen oder geändert?


Ein Datensicherungstool (wie halt der Dumper) erzeugt nur ein 1:1 Abbild der momentanen Situation, es verändert und interpretiert nichts an dem Dump.
Nur gibt es halt gerade bei MySQL (noch) die unterschiedlichsten Tabellenarten, Konfigurationen, Zeichensätze und Kollationen.
Bei nachträglichen Veränderungen am Server sind eventuelle Probleme vorprogrammiert.

Du kannst zwar das Backup-File mit einem Editor wie (empfohlen) Notepad++ öffnen und CHARSET und andere Dinge ändern, das ist aber 1. Fummelarbeit und setzt 2. genauste Kenntnisse voraus.

Hast Du evtl. noch ein anderes (älteres) Backup?

Ansonsten, wenn Du Dir die Mühe machen willst, Dich etwas in die Materie einzuarbeiten, gibt es hier etwas Lektüre zu dem Thema für Dich.
Dort hat sich Daniel die unsagbare Mühe gemacht, die Problematik sehr ausführlich etwas näher zu bringen.

Ansonsten probiere es erstmal mit dem Tipp, die Sprachren einfach neu zu importieren, das sollte eigentlich schon helfen. Danach sehen wir weiter.
Da nicht die Foreninhalte, sondern nur Teile des ACP betroffen sind, ist ein generelles Problem mit der DB und dem Server eigentlich auszuschließen.


//EDIT:
Fast vergessen: Eine Chance zur "Rettung" ist auch noch das Tool "DUK" (Umlaut-Korrektur), das kannst Du auch probieren.

DUK analysiert alle Tabellen der Datenbank und sucht in allen erkannten Textfeldern nach falsch kodierten Umlauten, welche er letztlich ersetzt. Fehlbedienung ist durch die einfache Benutzerführung so gut wie ausgeschlossen.

[cws]

Mea culpa - Gelobe Besserung

[Jaydee]

Kein Problem.

[andi_t]

Moinsen,
also, um noch mal ganz sicher zu gehen, habe ich auf dem identischen Server mein vb in ein anderes Verzeichnis kopiert.
Anschließend habe ich mit MSD einen Dump gezogen (von DB1) und diesen mit dem selben MSD nach DB2 wieder eingespielt.
Wenn sowohl mit latin, als auch mit utf.
Bei beiden Versionen komme ich nun zum selben Resultat: MIST!

Zuerst sieht alles gut aus, bis mit den Updates beginne.
Mein Forum läuift zur Zeit noch auf 3.6.8 PL2 und soll auf die neueste Version gebracht werden.
Wenn ich also erstmal auf 3.8.6. PL1 update, sieht alles gut aus, bis auf einige Texte im ACP.
Wie auch im Update-Vorgang empfohlen habe ich dann das de_DU-Sprachfile von 3.8.6. PL1 eingespielt.
Danach habe ich im Forum, im ACP und auch in den Beiträge Zeichenfehler, wie z.B.
ACP:

Es gibt 9 Template-Modifikationen die nicht für die aktuell verwendete vBulletin-Version entworfen worden sind, Sie müssen diese daher überprüfen und ggf. anpassen.
Wenn Sie dies nicht tun werden installierte Produkte möglicherweise nicht korrekt funktionieren!.

Forum:

Ich habe folgendes Problem: Anfang Februar haben wir ein KakaduZBB Pärchen von einem erfahrenen Aquaristik Händler gekauft.

Ich weiß nun echt nicht mehr weiter.
Gibt es denn echt keine einfache und funktionierende Lösung dafür?
Evtl. Ist ja doch ein Umstieg auf eine andere Forensoftware besser, oder gibt es da die gleichen Probleme?
Von CMS kenne ich das nämlich überhaupt nicht, da macht mal die Backups und das läuft...


LG Andi

[Jaydee]

Evtl. Ist ja doch ein Umstieg auf eine andere Forensoftware besser, oder gibt es da die gleichen Probleme?

Hallo Andi,

mit der Forensoftware hat das nichts (oder nur sehr bedingt) zu tun.
Je größer ein Update-Sprung ist, umso mehr Risiken für Probleme hat man natürlich in den Zwischenschritten auch.
Daher empfehlt es sich ja immer, regelmäßig zu updaten, um sowas zu vermeiden.

Hier liegt das Problem aber anders, offensichtlich ist die DB und damit das Backup schon von vornherein nicht konsistent.
Der Sprung von 3.6.8 auf aktuell ist zwar schon recht groß, aber zumindest von 3.7.4 auf 3.8.6 PL1 habe ich neulich auch noch eine Plattform aktualisiert, völlig ohne Probleme.

Um Genaues sagen zu können, müsste man den Server und dessen Einstellungen sehen, evtl. einige Debug-Routinen laufen lassen.
Aus der Ferne ist solch eine Fehlerursache immer sehr schwer zu lokalisieren.

Hast Du denn die obigen Tipps mal ausprobiert? Bzw. anschließend auch mal DUK laufen lassen?

[andi_t]

Hi Jaydee,

mit der Forensoftware hat das nichts (oder nur sehr bedingt) zu tun.

hmm, mir ist das bisher nur bei der Forensoftware aufgefallen.
Bei Typo3 und Wordpress hatte ich noch nie Probleme mit sowas...

Je größer ein Update-Sprung ist, umso mehr Risiken für Probleme hat man natürlich in den Zwischenschritten auch.
Daher empfehlt es sich ja immer, regelmäßig zu updaten, um sowas zu vermeiden.

naja, das Problem ist halt, dass das Forum viele Erweiterungen hat, und deshalb sehr wartungsunfreundlich ist. Ich hoffe das wird bei vb4 anders sein.

Hier liegt das Problem aber anders, offensichtlich ist die DB und damit das Backup schon von vornherein nicht konsistent.

hmm, also bevor ich die "DU-Version eingespielt hatte, war (fast) alles gut, siehe obiger Anhang. Die Probleme begannen erst danach.

Um Genaues sagen zu können, müsste man den Server und dessen Einstellungen sehen, evtl. einige Debug-Routinen laufen lassen.

hmmm...

Aus der Ferne ist solch eine Fehlerursache immer sehr schwer zu lokalisieren.

das ist klar.

Hast Du denn die obigen Tipps mal ausprobiert? Bzw. anschließend auch mal DUK laufen lassen?

1. Laufen Produktiv-Server und (lokales?) Testsystem wirklich in der exakt selben Umgebung, Konfiguration? Sind die LAMP-Versionen gleich?
Ansonsten ist ein Vergleich schon schwierig und eine Übertragung kann - wie auf realen Servern auch - durch unterschiedliche Environments Probleme verursachen.

jepp, habe das inzwischen auf dem selben Server in einem anderen Unterberzeichnis probiert, mit obigen Auswirkungen

2. Wie ist die CHARSET Konfig, nach dem Schema MySQL-Server -> Datenbank -> Tabellen -> Felder (so ist die Hirarchie-Struktur und Vererbung), gibt es da einen "Mischmasch"?

Nö, ist ja identisch, ist nur ne andere DB (einmal DB 1 einmal DB 5)

3. Wurde zwischen Backup und Restore etwas an dem Server geändert? Vor allem bezgl. der Zeichensätze?

Nö, habe beides direkt hintereinander gemacht,

4. Wurde die Voreinstellung des Dumpers (UTF-8 in aktuellen Versionen) belassen oder geändert?

einmal latin1 ausprobiert, einmal UTF-8 ==> gleiches Resultat

Ein Datensicherungstool (wie halt der Dumper) erzeugt nur ein 1:1 Abbild der momentanen Situation, es verändert und interpretiert nichts an dem Dump.
Nur gibt es halt gerade bei MySQL (noch) die unterschiedlichsten Tabellenarten, Konfigurationen, Zeichensätze und Kollationen.
Bei nachträglichen Veränderungen am Server sind eventuelle Probleme vorprogrammiert.

hmm, also ich hatte da nichts bewusst geändert...

Hast Du evtl. noch ein anderes (älteres) Backup?

ja, einige, aber da fehlen da ja viele Beiträge

Ansonsten, wenn Du Dir die Mühe machen willst, Dich etwas in die Materie einzuarbeiten, gibt es hier etwas Lektüre zu dem Thema für Dich.
Dort hat sich Daniel die unsagbare Mühe gemacht, die Problematik sehr ausführlich etwas näher zu bringen.

Das hatte ich mir schon durchgelesen.
Deswegen arbeite ich ja mit der neuesten Dumperversion, da die dabei wohl am Besten läuft.

Ansonsten probiere es erstmal mit dem Tipp, die Sprachren einfach neu zu importieren, das sollte eigentlich schon helfen. Danach sehen wir weiter.

Leider machte das noch weitere Probleme, siehe oben

Da nicht die Foreninhalte, sondern nur Teile des ACP betroffen sind, ist ein generelles Problem mit der DB und dem Server eigentlich auszuschließen.

Dachte ich ja auch, aber warum geht dann mit der Sprachdatei alles den Bach runter?

Fast vergessen: Eine Chance zur "Rettung" ist auch noch das Tool "DUK" (Umlaut-Korrektur), das kannst Du auch probieren.

OK, das teste ich jetzt nochmal.
Werde dann berichten.

Danke und LG Andi

[andi_t]

Fast vergessen: Eine Chance zur "Rettung" ist auch noch das Tool "DUK" (Umlaut-Korrektur), das kannst Du auch probieren.

OK, das teste ich jetzt nochmal.
Werde dann berichten.

also jetzt geht da garnichts mehr.
Wenn ich mich im ACP anmelden möchte, habe ich nur noch eine leere Eingabemaske und komme auch nicht mehr rein...

siehe Bildvb.png

[pogo]

Dein Forum läuft mit UTF-8 als Zeichensatz?
Dann muss auch die Sprachdatei vbulletin-language.xml vor dem Upgrade in diesem Zeichensatz gespeichert sein.
Einfach in einem Editor laden (z.B. notepad.exe) und beim Speichern den Zeichensatz auswählen.

[andi_t]

Hi Pogo,

Dein Forum läuft mit UTF-8 als Zeichensatz?

ich glaube nicht.

Her mal ein Auszug aus den msd-Variablen:

auto_increment_increment1auto_increment_offset1automatic_sp_privilegesONback_log50basedir/usr/binlog_cache_size32768bulk_insert_buffer_size8388608character_set_clientutf8character_set_connectionutf8character_set_databaselatin1character_set_file systembinarycharacter_set_resultsutf8character_set_serverlatin1character_set_systemutf8character_sets_dir/usr/share/mysql/charsets/collation_connectionutf8_general_cicollation_databaselatin1_swedish_cicollation_serverlatin1_swedish_cicompletion_type0concurrent_insert1connect_timeo ut5datadir/var/lib/mysql/date_format%Y-%m-%ddatetime_format%Y-%m-%d %H:%i:%sdefault_week_format0delay_key_writeALLdelayed_insert_limit100delayed_insert_timeout300delayed_queue_size1000div_precision_increment4engine_con dition_pushdownOFFexpire_logs_days0flushOFFflush_time0ft_boolean_syntax+ -><()~*:""&|ft_max_word_len84ft_min_word_len4ft_query_expansion_limit20ft_stopword_file(built-in)group_concat_max_len1024have_archiveYEShave_bdbNOhave_blackhole_engineNOhave_compressYEShave_cryptYEShave_csvYEShave_dynamic_loadingYEShave_example _engineNOhave_federated_engineYEShave_geometryYEShave_innodbYEShave_isamNOhave_merge_engineYEShave_ndbclusterDISABLEDhave_opensslDISABLEDhave_query_ca cheYEShave_raidNOhave_rtree_keysYEShave_symlinkYES

Dann muss auch die Sprachdatei vbulletin-language.xml vor dem Upgrade in diesem Zeichensatz gespeichert sein.
Einfach in einem Editor laden (z.B. notepad.exe) und beim Speichern den Zeichensatz auswählen.

hmm, das muss ich mal morgen ausprobieren.

[pogo]

Ruf dein Forum auf und guck, was unter Ansicht->Zeichenkodierung im Browser steht.
Wenn UTF-8, dann muss die vbulletin-language.xml auch so gespeichert sein.

[Jaydee]

Im Browser könnte auch "automatische Auswahl" stehen, was dann nicht sehr aussagekräftig wäre.
In dem Fall einfach testweise manuell auf Ansicht -> Zeichenkodierung -> Unicode -> UTF-8 wechseln.

Ansonsten wäre eine zuverlässigere Methode auch, sich den Quelltext Deiner Startseite anzusehen.
Dort im Meta-Bereich des Headers nach dem Charset suchen, normal stünde dort z.B. charset=ISO-8859-1, bei Dir dann evtl. charset=UTF-8.

[Mystics]

Ich habe mir das nochmal angesehen. Dein Originalforum läuft mit UTF-8. Du benötigst also immer die UTF-8-Versionen der Sprachdateien, siehe Anhang.