Re: [lugbe] Perl Projekt Vorschlag

[Stefan Haller <stefan.haller at ascom.ch>]

Hallo

Es hat ja auch Beginners unter den Perl'ern... Ich möchte hier vielleicht
noch anmerken, dass ich finde, man sollte auch Anfänger gleichermassen in
das Projekt einbeziehen. Es gäbe viel zu tun, auch Sachen, die von weniger
Erfahrenen Perl'ern übernommen werden könnte. Natürlich mit dem
entsprechenden Support von den anderen, die mithelfen. Stichwort: Learning
by doing.

Ich stelle mir ein Layer-Modell wie etwa dies hier vor:

                   -------------------     -------------------
                  | HTTP | FTP | FILE |   | HTML | TXT | SGML |
----------------   -------------------     -------------------
 Console | Web  | | Document Gatherer |   |   Document Parser |
----------------   -------------------------------------------
 User Interface | |             Spider (Indexer)              |
----------------   -------------------------------------------
Standardisierte Datenbank Funktionen (SQL Server und alternative)
------------------------------------------------------------
                          Datenbank
------------------------------------------------------------

Ich hoffe das ASCII-Art wird richtig dargestellt. Sonst hier noch ein paar
Comments zum Aufbau:

USER INTERFACE
  Das User Interface kann wahlweise ein Konsolenprogramm
  sein oder eine Webbasierte Applikation. Diese Interfaces
  rufen einfach festgelegte Funktionen für die Administration
  auf oder dienen als Abfrage-Interface.

SPIDER
  Der grössere Teil des Projekts. Unterteilt in einen Gatherer
  und einen Parser.
GATHERER
  Der Gatherer beschafft die spezifizierten Dokumente. Unabhängig
  wo sich diese befinden. Dazu gibt es Zusatzmodule für HTTP,
  FTP oder FILE (für lokale Dateien)...
PARSER
  Der Parser ist für das Indexing des Dokuments zuständig. Er
  durchsucht das Dokument nach Wörtern und fügt diese der
  Datenbank hinzu. Wenn ein ganzer HTML-Baum durchgepflügt
  werden soll, ist er auch dazu da, die HREFs zu finden und
  auszuwerten.
  Der Parser müsste dank Zusatzmodulen HTML, plain-text und
  SGML oder weitere Formate kennen.

Ungefähr so stelle ich mir das vor. Mir wäre es wichtig, dass das Projekt
eben Modular und einfach erweiterbar aufgebaut wäre.
Alle diese Module sind natürlich nur als Vorschläge, was man alles machen
könnte. Eine erste Version könnte man ja vielleicht mal klein anfangen. Ein
HTTP-Client, ein Parser, vielleicht vorerst nur für Textdokumente wie die
Linux-HOWTOs, und ein Konsolen-Interface. Oder eben je nach dem, wieviele
mitmachen möchten und für was sie sich interessieren.

Natürlich müsste man das ganze einmal etwas genauer Besprechen und
abklären, ob ein solches Modell überhaupt in der Praxis sinnvoll ist.


Um nochmals zu dem zurückzukommen, was ich am Anfang dieses Mails
geschrieben habe: ein Anfänger könnte zum Beispiel ein Web- oder Konsolen
Interface versuchen zu entwickeln oder irgend sonst was in der Art.
Natürlich mit der notwendigen Unterstützung der anderen.

Ziel wäre ein lauffähiger Prototyp hinzukriegen. Erweiterte Funktionen
können dann immer noch hinzugefügt werden... Deshalb aber auch der Modulare
Aufbau.

Das grösste Problem sehe ich vorallem in der Struktur der Datenbank. Was
wäre hier sinnvoll? Hier wäre es vielleicht auch etwas Hilfe von den
Datenbank'lern gefragt...


Ich wäre froh, wenn sich einmal diejenigen unter euch, die sich vorstellen
könnten in IRGENDEINER Form hier mitzuarbeiten, möge der Beitrag noch so
klein sein, sich einmal melden würden.
Dann könnte man etwas abschätzen ob und in welcher Form ein solches Projekt
überhaupt Zustande kommen könnte.

Gruss
 Stefan

ps. Uebrigens wäre ich natürlich auch bereit an anderen Perl-Projekten und
-Projektchen mitzuarbeiten wenn jemand eine gute Idee hat...

-- 
"Those are my principles! And if you don't like them... well, I have
others..."
	-- Groucho Marx