Keine IMDb-Daten verfügbar

miron
Full Member
Beiträge: 54
Registriert: 03 Nov 2009, 22:40
Wohnort: Hannover
Kontaktdaten:

Re: Keine IMDb-Daten verfügbar

Beitragvon miron » 28 Okt 2017, 22:26

Bin gerade auf diese Problematik gestoßen, von welchen kosten reden wir für einen Einzelabruf. Da meine Filter auf dieser Datenbank beruhen sind die schon sehr wichtig für mich. Gibt es bereits Vorschläge oder wege dieses Problem zu beheben/ändern/umgehen? Und warum hat Amazon das gemacht, kennt da einer die Hintergründe?
Gruß

Miron

Windows 10 64 Bit * TV-Browser 4.0 * Java Version 8 Update 121 * TV-Browser Android 0.6.4.0 auf Android 7.0.*

Benutzeravatar
Agrivaine
Moderator
Beiträge: 667
Registriert: 21 Nov 2007, 14:39
Kontaktdaten:

Re: Keine IMDb-Daten verfügbar

Beitragvon Agrivaine » 29 Okt 2017, 10:18

miron hat geschrieben:... Und warum hat Amazon das gemacht, kennt da einer die Hintergründe?
Amazon bietet nur das Modell an, maßgeblich für die Umstellung ist IMDB daran "schuld".
Leider kann man bei Amazon die Kosten vorher nicht einsehen. Geplant ist in dieser Hinsicht auch nichts mehr weiter, außer z.B. Omdb zu nutzen.
Gestern standen wir vor dem Abgrund; heute sind wir bereits einen Schritt weiter...

Jo
Site Admin
Beiträge: 10111
Registriert: 07 Apr 2006, 23:39

Re: Keine IMDb-Daten verfügbar

Beitragvon Jo » 29 Okt 2017, 17:53

IMDb gehört Amazon, deshalb ist der Schritt nicht erstaunlich. Jeder Nutzer des Plugins müsste sich bei Amazon anmelden und zahlen, das Plugin müsste wohl großteils neu geschrieben werden. Da es wohl höchstens 10 Leute nutzen würden, lohnt sich das kaum, aber wer es machen möchte, kann das gerne tun.
Ansonsten mit 1 Klick auf den omdb-Link siehst du auch die IMDb-Bewertung. Die Top250 könntest du wahrscheinlich irgendwo extrahieren und bei TV-Browser in einen Massenfilter anlegen. Allerdings ist IMDb als Allein-Kriterium wegen der häufigeren Fake-Bewertungen und weil Massengeschmack nicht gleich Qualität ist ohnehin keine Lösung.

miron
Full Member
Beiträge: 54
Registriert: 03 Nov 2009, 22:40
Wohnort: Hannover
Kontaktdaten:

Re: Keine IMDb-Daten verfügbar

Beitragvon miron » 06 Nov 2017, 22:56

Hi, leider ist die IMDB aus zeit Gründen für mich die Lösung. Ich habe hier mal mit google Übersetzer das Statement von IMDB angehängt. Ich will zwar nicht Naiv klingen habe das Thema aber noch nicht aufgegeben, das liegt nicht in meiner Natur :lol:
Nur kenne ich mich nicht mit der Programierung aus. Es ist ja auch nicht so das ich die Datenbank täglich oder gar wöchentlich neu laden will. 2-4 mal im Jahr reicht für mich. Jetzt steht ja in der Aussage unten das die Daten auch wieder über http verfügbar gemacht werden sollen, würde dann das Plugin wieder laufen?


"Danke für das bisherige Feedback zu diesem Thread. Bitte posten Sie weiterhin, und wir werden versuchen, so viel wie möglich zu berücksichtigen. Dieser Beitrag beantwortet einige der aufgeworfenen Fragen und es wird weitere Updates basierend auf der nächsten Feedback-Runde geben. Bei den S3-Zugriffsproblemen haben wir jetzt einen funktionsfähigen Prototyp eines Systems, das Ihnen die gleichen S3-Daten über HTTP direkt von IMDb zur Verfügung stellt, ohne dass eine S3-Registrierung erforderlich ist und keine AWS-Gebühren anfallen. Bitte achten Sie auf eine Ankündigung, während wir diese in Produktionscode umwandeln. Das einzige, was benötigt wird, ist ein normales IMDb-Benutzerkonto, das an eine gültige E-Mail-Adresse angehängt ist. Wir beabsichtigen weiterhin, die Daten auch über S3 für jene Personen verfügbar zu machen, die die AWS-Zugriffstools bequemer finden und innerhalb der kostenlosen Stufe von AWS bleiben können. Bei der allgemeinen Datenverfügbarkeit fügen wir die AKA-Titel zum Basisdatensatz hinzu, der für alle zugänglich ist. Längerfristig prüfen wir die Möglichkeit von täglichen Diff-Dateien für mindestens einige der Daten im Basissatz. Im Hinblick auf Mitwirkende möchten wir die Datenmenge, die über die http-Lösung zur Verfügung steht, basierend auf Ihrer Beitragshistorie und Ihrem Volumen erweitern. Für Top-Beitragende und diejenigen, die die Daten verwenden, um uns durch Bulk-Korrekturen zu bereinigen, wird dies wahrscheinlich sogar über die aktuelle FTP-Site hinausgehen. Es ist nicht unsere Absicht, den Zugang zu den Daten denjenigen Personen zu entziehen, die im Laufe der Jahre wirklich geholfen haben, sie aufzubauen und die IMDb weiter verbessern wollen. Wir möchten auch in der Lage sein, bestimmten Kunden spezifische Berechtigungen für bestimmte zusätzliche Teilmengen von Daten zu erteilen, die von Fall zu Fall erforderlich sind. Dieser letzte Teil kann einige Zeit in Anspruch nehmen, um zu einer vollständigen Lösung zu werden. Der Hintergrund für all dies ist, dass es ein riesiges mehrjähriges Technologiemigrationsprojekt gibt, das bei der IMDb kurz vor dem Abschluss steht. Wir haben zu viele komplizierte alte Systeme, die das gesamte Entwicklungstempo verlangsamen (ich füge ein paar mehr Details dazu bei https://getsatisfaction.com/imdb/topics ... er-consult -with-the-contributor-base ...). Der Umstieg auf die neue Technologie bietet die Gelegenheit, die Art und Weise zu betrachten, wie wir verschiedene Teile des IMDb-Dienstes betreiben. Eines der ältesten Softwaresysteme ist jenes, das die FTP-Daten veröffentlicht, und wir werden bald nicht mehr in der Lage sein, die .list-Dateien zu erzeugen, sobald die endgültigen Teile des alten IMDb-Systems außer Betrieb genommen sind; zumindest nicht, ohne die gesamte Publikationssoftware neu zu schreiben, um sich mit dem neuen System zu verbinden und ein extrem schwierig zu manipulierendes Textdateiformat zu erzeugen, das vor 27 Jahren entworfen wurde und sich in 21 Jahren nicht geändert hat. Stattdessen entschieden wir, dass es besser wäre, die Daten über ein modernes System (S3 und bald über https) in einem modernen Format zu veröffentlichen, das leichter geparst werden kann. Das andere Problem mit FTP ist, dass wir keine Ahnung haben, wie viele Leute die Daten zu welchem ​​Zweck verwenden, und wir wissen auch nicht, welche zusätzlichen Dinge sie von den Daten erwarten können. Aus den Rückmeldungen über die Jahre kannten wir bereits einige Ihrer Anforderungen, insbesondere (a) Zugriff auf den Titel und die Benennung konstanter Daten (b) einfacheres Analysieren des Formats (c) Informationen zur Anpassung anderer Kataloge an IMDb (d) mehr häufige Updates. Wir mussten die verbleibenden Anforderungen erraten, bis wir entschieden, dass der beste Weg ist, die Daten an einen neuen Ort innerhalb der FTP-Sites zu verschieben, eine Ankündigung über Get Satisfaction (dieser Thread) zu posten und dann zu warten, bis wir Feedback erhalten welche Schritte als nächstes zu unternehmen sind (diese Antwort). Wir hoffen, dass dies hilft. Wir haben in der Zwischenzeit viel zu tun, und wir werden weiterverfolgen, wenn wir Teile der oben genannten liefern. Col Gründer & CEO, IMDb.com."
Gruß

Miron

Windows 10 64 Bit * TV-Browser 4.0 * Java Version 8 Update 121 * TV-Browser Android 0.6.4.0 auf Android 7.0.*

Benutzeravatar
Agrivaine
Moderator
Beiträge: 667
Registriert: 21 Nov 2007, 14:39
Kontaktdaten:

Re: Keine IMDb-Daten verfügbar

Beitragvon Agrivaine » 07 Nov 2017, 10:13

Nach Anpassung (z.B. URL) wahrscheinlich ja. Allerdings bleibt erst mal abzuwarten ob dies ein kostenloser Einzelrequest wird (Abfrage nach Film "blablablupp"), oder die kpl. "Datenbank" (so wie bisher und teilweise von TVB benötigt) zur Verfügung gestellt wird/gestellt werden kann.
...und die benötigten FTP-Listen scheint es dann überhaupt nicht mehr zu geben. Sieht also eher nach einem gänzlich neuem Plugin aus...
Gestern standen wir vor dem Abgrund; heute sind wir bereits einen Schritt weiter...

miron
Full Member
Beiträge: 54
Registriert: 03 Nov 2009, 22:40
Wohnort: Hannover
Kontaktdaten:

Re: Keine IMDb-Daten verfügbar

Beitragvon miron » 01 Dez 2017, 16:09

Hallo, könntest du mir vielleicht eine detaillierte Anleitung zukommen lassen, ich bin ja nicht ganz blöd aber krieg es nicht hin. Wie kriege ich den Pfad hin und wo finde ich die Host Datei? Danke schonmal im Vorraus

bacon56626 hat geschrieben:Trick 17:

Habe einen lokalen FTP-Server eingerichtet (Quick 'n' Easy FTP Server Lite 3.2)

Dort die Verzeichnisstruktur
/pub/misc/movies/database/
im home Verzeichnis angelegt.

Dann alle Files aus ftp.fu-berlin.de/pub/misc/movies/database/temporaryaccess/ dahin kopiert (z.B. mit FileZilla)

Dann in meiner HOSTS-Datei den Eintrag

Code: Alles auswählen

127.0.0.1 ftp.fu-berlin.de

hinzugefügt um DNS auf mein localhost umzubiegen.

Danach konnte ich im TV-Browser die IMDB Daten mit Server Auswahl ftp.fu-berlin.de aktualisieren (weil sie vom lokalen Mirror kamen).

Hat 5 Minuten gedauert das einzurichten. Hehe.
Gruß

Miron

Windows 10 64 Bit * TV-Browser 4.0 * Java Version 8 Update 121 * TV-Browser Android 0.6.4.0 auf Android 7.0.*

Benutzeravatar
Agrivaine
Moderator
Beiträge: 667
Registriert: 21 Nov 2007, 14:39
Kontaktdaten:

Re: Keine IMDb-Daten verfügbar

Beitragvon Agrivaine » 02 Dez 2017, 11:08

Hosts-Datei unter
Windows: %windir%\system32\drivers\etc
Linux: /etc

Verzeichnis (ich kenne den genannten FTP-Server jetzt zwar nicht, ist aber so eigentlich üblich):
Die FTP-Server-Software ist jetzt bei Windows z.B. unter C:\Programme (X86)\FTP-Server-xyz installiert. Startet man die Software/den Server kann man in den Einstellungen das "Home"-Verzeichnis auswählen (bei Windows kann dies bspw. C:\inetpub\wwwroot sein). Wo auch immer dies nun hin zeigt oder du es einstellst, genau dort musst du die Verzeichnisstruktur anlegen. Sollte also bspw. das Home-Verzeichnis tatsächlich auf C:\inetpub\wwwroot zeigen, legst du dort den kpl. Pfad auch an, also C:\inetpub\wwwroot\pub\misc\movies\database
Bei Linux ist es ähnlich, nur wird es dort meist in einer Config-Datei konfiguriert, Verzeichnisse anlegen und Rechte vergeben, den Server neu starten...
Gestern standen wir vor dem Abgrund; heute sind wir bereits einen Schritt weiter...

cabanni

Re: Keine IMDb-Daten verfügbar

Beitragvon cabanni » 02 Dez 2017, 15:58

[quote="bacon56626"]Trick 17:

Habe einen lokalen FTP-Server eingerichtet (Quick 'n' Easy FTP Server Lite 3.2)

Dort die Verzeichnisstruktur
[b]/pub/misc/movies/database/[/b]
im home Verzeichnis angelegt.

Dann alle Files aus [b]ftp.fu-berlin.de/pub/misc/movies/database/temporaryaccess/[/b] dahin kopiert (z.B. mit FileZilla)

[/quote]

Ich würde dem ja folgen und es versuchen leider habe ich bloß eine mobile Internet-Verbindung mit beschränkten Traffic und kein Festnetz, die ganze Verzeichnisstruktur sind mehrere zig GB.

Nur zur Info bei Linux ist das regulär eingerichtete Apache-Webserver Verzeichnis in /var/www/html da müssten die Ordnerstruktur dann hinkopiert werden. Wenn man den Webserver so einrichten will das das eigene Home-Verzeichnis genutzt werden kann, sind noch extra Schritte bei der Webserver Installation nötig.

Jo
Site Admin
Beiträge: 10111
Registriert: 07 Apr 2006, 23:39

Re: Keine IMDb-Daten verfügbar

Beitragvon Jo » 02 Dez 2017, 22:11

cabanni hat geschrieben:Ich würde dem ja folgen und es versuchen leider habe ich bloß eine mobile Internet-Verbindung mit beschränkten Traffic und kein Festnetz, die ganze Verzeichnisstruktur sind mehrere zig GB.

Was auch immer, in jedem Fall sind nicht die ganzen Dateien nötig. Was mit Titel und was mit Ratings zu tun hat, ich glaube sogar nur "aka-titles" und "ratings", weiß es aber auch nicht genau.

Benutzeravatar
Agrivaine
Moderator
Beiträge: 667
Registriert: 21 Nov 2007, 14:39
Kontaktdaten:

Re: Keine IMDb-Daten verfügbar

Beitragvon Agrivaine » 03 Dez 2017, 12:22

Jo hat geschrieben:...ich glaube sogar nur "aka-titles" und "ratings", weiß es aber auch nicht genau.
Lt. source code des Plugins ja, zumindest meinen bescheidenen Java-Kenntnissen nach :wink:
Gestern standen wir vor dem Abgrund; heute sind wir bereits einen Schritt weiter...

miron
Full Member
Beiträge: 54
Registriert: 03 Nov 2009, 22:40
Wohnort: Hannover
Kontaktdaten:

Re: Keine IMDb-Daten verfügbar

Beitragvon miron » 04 Dez 2017, 21:49

Habe es nach einigem hin und her endlich auch geschafft und wieder eine Menge gelernt :lol:
Vielen Dank an alles die mir dabei geholfen haben

Ich kann die Aussage von Agrivaine bestätigen, habe nach dem ersten wiederherstellen der IMDB Datenbank mit dem kompletten Verzeichnis von ca. 12 GB dieses gelöscht und nur die beiden benannten Dateien eingefügt, und er hat anstandslos ein Update gemacht, also reichen 25MB an Daten und 2 Dateien :D damit kann ich erstmal leben

Nächste Frage, wäre es nicht möglich in das Plugin eine Auswahlmöglichkeit für ein lokales Verzeichnis zu integrieren bis das Problem weiter bearbeitet werden kann, die Dateien sind ja für jeden frei zugänglich und wer sie auf der Platte hat könnte dann vielleicht ohne den hier beschriebenen Umweg die Datenbank updaten, oder gibt es dafür auch einen Workaround das selber zu machen :mrgreen: ?
Gruß

Miron

Windows 10 64 Bit * TV-Browser 4.0 * Java Version 8 Update 121 * TV-Browser Android 0.6.4.0 auf Android 7.0.*

Jo
Site Admin
Beiträge: 10111
Registriert: 07 Apr 2006, 23:39

Re: Keine IMDb-Daten verfügbar

Beitragvon Jo » 04 Dez 2017, 22:58

miron hat geschrieben:Nächste Frage, wäre es nicht möglich in das Plugin eine Auswahlmöglichkeit für ein lokales Verzeichnis zu integrieren bis das Problem weiter bearbeitet werden kann,

Kann natürlich gerne jemand machen, würde aber nur davon ablenken, dass es keine Lösung gibt. Damit liefe das Plugin noch ein paar Wochen länger, mehr nicht.

miron
Full Member
Beiträge: 54
Registriert: 03 Nov 2009, 22:40
Wohnort: Hannover
Kontaktdaten:

Re: Keine IMDb-Daten verfügbar

Beitragvon miron » 05 Dez 2017, 18:01

:o korrigiere mich wenn ich falsch liege da ich von dem Amazon AWS kram wenig bis gar keine Ahnung hab.

1. Das eigentliche AWS Konto ist kostenlos, ich bezahle wenn ich die Daten abrufe.
2. Sagen wir die Daten belaufen sich für mich auf 4x im Jahr 50MB = 200MB
3. Alles was ich finde fängt mit GB an und befindet sich im Cent Bereich
4. Selbst wenn ich jetzt dafür 1€ bezahlen würde im Jahr könnte ich damit leben

5. Ich hab von programmieren 0 Ahnung, würde mich aber bemühen jemanden zu finden
6. in welcher Sprache ist das Plugin geschrieben und was brächte der Programmierer noch für Infos?
7. Hätte er euren Segen?
Gruß

Miron

Windows 10 64 Bit * TV-Browser 4.0 * Java Version 8 Update 121 * TV-Browser Android 0.6.4.0 auf Android 7.0.*

Jo
Site Admin
Beiträge: 10111
Registriert: 07 Apr 2006, 23:39

Re: Keine IMDb-Daten verfügbar

Beitragvon Jo » 05 Dez 2017, 18:25

Das Problem ist weniger, dass es teuer wäre, sondern dass sich jeder User einzeln bei AWS anmelden und zahlen müsste, es würden also wohl nicht viele machen. Das Plugin müsste wohl praktisch neu geschrieben werden, es ist unter https://sourceforge.net/p/tvbrowser/cod ... ugin-imdb/ . Wer sich an die GNU-Lizenz hält und nichts Illegales macht oder ermöglicht, kann sich gerne daran versuchen.

Rochvellon
Junior Member
Beiträge: 14
Registriert: 23 Aug 2015, 22:01

Re: Keine IMDb-Daten verfügbar

Beitragvon Rochvellon » 09 Dez 2017, 23:53

Bevor da solche Verrenkungen getätigt werden, wäre es sinnvoller, die Daten von OMDb zu nutzen. Zwar sind teilweise in den Beschreibungen Felder mit den Bewertungen von OMDb, jedoch scheint es, dass diese nur manchmal eingetragen und dann nie wieder aktualisiert werden.

http://www.omdb.org/content/Help:DataDownload

Es sieht so aus, dass bei den Bewertungen Filme/Serien fehlen. So finde ich bspw. keinen Bewertungseintrag zu "Game of Thrones", obwohl auf der Webseite diese Serie mit 7,52 angezeigt wird. Ein Fehler beim Zusammenstellen der Infos?

Btw. diese Daten könnten auch für die automatische Ausfüllung bei nichtverhandenen Beschreibungen genutzt werden.


Zurück zu „Bugs“

Wer ist online?

Mitglieder in diesem Forum: v6ph1 und 3 Gäste