ΥπερΔιαύγεια και στο Μητρώο Δημοσίων Συμβάσεων (ΚΗΜΔΗΣ) eprocurement.gov.gr

Η ΥπερΔι@ύγεια δημιουργήθηκε με στόχο να βελτιώσει την πρόσβαση στα δεδομένα που αναρτώνται στο πρόγραμμα Διαύγεια. Από σήμερα, ο ρόλος της διευρύνεται και μπορεί πλέον να πραγματοποιεί αναζητήσεις και στο Κεντρικό Ηλεκτρονικό Μητρώο Δημοσίων Συμβάσεων (ΚΗΜΔΗΣ), eprocurement.gov.gr. Όπως αναφέρεται στην ιστοσελίδα του ΕΣΗΔΗΣ:

Το Εθνικό Σύστημα Ηλεκτρονικών Δημοσίων Συμβάσεων (ΕΣΗΔΗΣ) αποτελεί το κεντρικό ηλεκτρονικό κόμβο - σημείο αναφοράς - για τις δημόσιες συμβάσεις στην Ελλάδα. Στόχος του είναι ο εκσυγχρονισμός και η απλοποίηση των διαδικασιών ανάθεσης και η υποστήριξη των ενδιαφερομένων (πολίτες, αναθέτουσες αρχές, προμηθευτές, εποπτικές αρχές).

Δυστυχώς όμως η ιστοσελίδα του συστήματος πάσχει και προβληματίζει ιδιαίτερα τους χρήστες της!

Πλέον, οι πολίτες μπορούν να επισκέπτονται την yperdiavgeia.gr, να επιλέγουν την καρτέλα ΚΗΜΔΗΣ και να πραγματοποιούν εύκολα και γρήγορα τις αναζητήσεις τους. Η ΥπερΔιαύγεια ευρετηριάζει όχι μόνο τα μεταδεδομένα των δημοσίων προκηρύξεων και συμβάσεων, αλλά και το πλήρες κείμενό τους.

Μπαίνοντας στο yperdiavgeia.gr, επιλέγεις αν θα ψάξεις στα δεδομένα της Διαύγειας ή του ΚΗΜΔΗΣ (eprocurement.gov.gr)

Η υλοποίηση αυτής της νέας λειτουργίας της ΥπερΔιαύγειας δεν θα ήταν δυνατή χωρίς την πολύτιμη συμβολή των δημιουργών του εργαλείου ανάκτησης δεδομένων από ιστοσελίδες DEiXTo. Δείτε πώς κατάφεραν να ανακτήσουν τα δεδομένα σε αυτό το άρθρο: Building an RSS feed for the Greek e-procurement platform.

7+ εκατομμύρια αποφάσεις στην ΥπερΔιαύγεια

Τα στατιστικά στοιχεία της ΥπερΔιαύγειας είναι εντυπωσιακά:

• Περισσότερα από επτά (7) εκατομμύρια αποφάσεις βρίσκονται πλέον στο ευρετήριο αναζητήσεων πλήρους κειμένου της ΥπερΔιαύγειας! Η πηγή των δεδομένων είναι φυσικά οι δεκάδες χιλιάδες αποφάσεις που προστίθενται καθημερινά στο πρόγραμμα Διαύγεια, μια προσπάθεια που πρέπει να θεωρείται επιτυχημένη παρά τα προβλήματα που αντιμετωπίζει.
• Επιπλέον, περισσότερες από τρία (3) εκατομμύρια αποφάσεις είναι αποθηκευμένες σε μορφή PDF στον server της ΥπερΔιαύγειας. Πρόκειται για τις τελευταίες αποφάσεις (του τελευταίου έτους περίπου) που αποθηκεύονται ώστε να είναι άμεσα διαθέσιμες ακόμη και όταν δεν λειτουργεί η Διαύγεια.
• Στα ενδότερα του εξυπηρετητή της ΥπερΔιαύγειας, τα δεδομένα είναι τα εξής:
• 3 GB mysql database,
• 35 GB ευρετήρια κειμένου,
• 70 GB εικόνες προεπισκόπησης (η 1η σελίδα των αποφάσεων που εμφανίζεται στα αποτελέσματα,
• 600 GB PDF αποφάσεων.
• Όσον αφορά τους επισκέπτες, ορισμένα στοιχεία που αξίζει να αναφερθούν:
• Περισσότεροι από 1.100 μοναδικοί χρήστες επισκέπτονται καθημερινά την ΥπερΔιαύγεια.
• Πραγματοποιούνται περίπου 7.500 pageviews ανά ημέρα.
• Ο μέσος χρόνος παραμονής ενός επισκέπτη στην ΥπερΔιαύγεια είναι κάτι παραπάνω από έξι (6) λεπτά.
• Ο μέγιστος αριθμός μοναδικών επισκεπτών σε μια μέρα είναι 5.500.

Η ΥπερΔιαύγεια βρίσκεται σε πορεία ανάπτυξης. Εύχομαι περισσότεροι άνθρωποι να μάθουν για αυτήν και να την χρησιμοποιήσουν για να κάνουν καλύτερα και γρηγορότερα την δουλειά τους.

Μπαράζ δημοσιευμάτων για την ΥπερΔιαύγεια στον τύπο

Σήμερα Πέμπτη 21 Φεβρουαρίου είχαμε ένα μπαράζ δημοσιευμάτων στον ηλεκτρονικό τύπο σχετικά με την ΥπερΔι@ύγεια:

• ΕΘΝΟΣ - Άμεση αναζήτηση δημοσίων εγγράφων στην ΥπερΔι@ύγεια
• ΚΑΘΗΜΕΡΙΝΗ - ΥπερΔι@ύγεια: Μηχανή αναζήτησης σε όλα τα δημόσια έγγραφα του προγράμματος Δι@ύγεια
• enikos.gr - Για αναζήτηση... ΥπερΔι@ύγεια
• ΗΜΕΡΗΣΙΑ - Μετά τη Δια@ύγεια τώρα και ΥπερΔι@ύγεια
• news247.gr - Μετά τη Διαύγεια, ΥπερΔι@ύγεια για καλύτερη αναζήτηση,
• newsbeast.gr - Άμεση αναζήτηση δημοσίων εγγράφων στην ΥπερΔι@ύγεια
• thestival.gr - Με "διαύγεια" τα δημόσια έγγραφα στον υπολογιστή μας

Yperdiavgeia.gr in the news

Μια σειρά από πρόσφατα άρθρα έκαναν περισσότερο γνωστή την ΥπερΔιαύγεια στο ευρύ κοινό. Καταρχήν πρέπει να ευχαριστήσω το Κόμμα των Πειρατών Ελλάδας που φιλοξενεί ένα άρθρο στην κεντρική σελίδα του με τίτλο: Από την Δι@ύγεια στην ΥπερΔι@ύγεια.

Επιπλέον, τα άρθρα που δημοσιεύθηκαν είναι τα εξής:

• LiFO 8/1/2013: ΥπερΔιαύγεια: Μια έξυπνη μηχανή αναζήτησης για τις αποφάσεις του Κράτους.
• iefimerida.gr 7/1/2013: Η ΥπερΔιαύγεια ρίχνει περισσότερο φως στα δημόσια έγγραφα.
• parallaximag.gr 8/1/2013: Αναζήτηση στα άδυτα της Διαύγειας.
• metataxeis.gr 6/1/2013: Ενημέρωση για την εφαρμογή ΥπερΔιαύγεια

Θα ήθελα να ευχαριστήσω θερμά τους συντάκτες των μέσων που συμβάλλουν στην διάδοση της ΥπερΔιαύγειας και της ανοικτής πρόσβασης στα δημόσια δεδομένα.

ΥπερΔι@ύγεια: Τώρα και backup των αποφάσεων της Δι@ύγειας

Ένα από τα σημαντικότερα προβλήματα της Δι@ύγειας είναι ότι πολύ συχνά το site δεν είναι διαθέσιμο. Παραδείγματα υπάρχουν πολλά: http://www.inews.gr/63/epese-i-diavgeia.htm , http://news247.gr/eidiseis/sthles/paratypos/epese_h_diaugeia.2012444.html).

Τα προβλήματα αυτά όντως είναι αρκετά συχνά και εξηγούνται αν λάβουμε υπόψη τον μεγάλο αριθμό χρηστών, των μεγάλο όγκο των δεδομένων και την πολυπλοκότητα του συστήματος, καθώς επίσης και την δεδομένη αποδοτικότητα των ελληνικών δημοσίων υπηρεσιών που διαχειρίζονται την Δι@ύγεια :)

Τα προβλήματα αυτά επηρεάζουν πολλούς δημοσίους υπαλλήλους (και όχι μόνο) που χρησιμοποιούν την Δι@ύγεια καθώς δεν μπορούν να έχουν πρόσβαση στα έγγραφα για να κάνουν την δουλειά τους.

Η ΥπερΔι@ύγεια έρχεται να δώσει λύση σε αυτό το πρόβλημα κάνοντας backup των αποφάσεων της Δι@ύγειας.

Από σήμερα, η ΥπερΔι@ύγεια αποθηκεύει αντίγραφα των πιο πρόσφατων αποφάσεων της Δι@ύγειας και δίνει την δυνατότητα σε όλους να έχουν πρόσβαση όταν η Δι@ύγεια δεν λειτουργεί. Έτσι, στα αποτελέσματα μιας αναζήτησης στην ΥπερΔι@ύγεια θα δείτε πως σε πολλές εγγραφές θα υπάρχει ένα link με τίτλο "Αποθηκευμένο PDF" που δίνει πρόσβαση στο αποθηκευμένο αρχείο.

Το πρόβλημα για την ώρα είναι ότι λόγο του μεγάλου όγκου των δεδομένων, δεν είναι δυνατό να αποθηκευτούν όλα τα δεδομένα της Δι@ύγειας αλλά μόνο αυτά των τελευταίων μηνών κάθε φορά.

SuperCl@rity - Search in the depths of the Cl@rity Project (Greek Open Gov Documents)

The Cl@rity Program (diavgeia in greek) is a successful Greek State attempt to publish every Greek government decision on the web. Beginning October 1st 2010, all Ministries are obliged to upload their decisions on the Internet, through the «Cl@rity» program.

The problem with Cl@rity is that search facilities are simply not good enough, the latest version of the web app uses Google Custom Search Engine technology, and is offering this interface.

The aim of SuperCl@rity project http://yperdiavgeia.gr is to provide a full text search engine of all documents published through Cl@rity. To achieve this goal, SuperCl@rity is retrieving, analysing and indexing all published PDF documents through the excellent Cl@rity APIs. The result is a modern search engine which is able to provide fast and accurate results, enabling people to find what they need.

SuperCl@rity is implemented using state of the art tools and technologies such as:

• OCR scanning of image pdf documents using tesseract-ocr,
• full text search engine using inverted-indexes based on sphinx search,
• nginx
• php5
• jquery + jqueryui
• compass style
• debian linux

SuperCl@rity began in August 2011 as a personal research project by Vangelis Banos and is developed constantly ever since.

Η ΥπερΔιαύγεια στο OKFN Greece Blog

Αναδημοσίευση άρθρου για την ΥπερΔιαύγεια στο Open Knowledge Foundation Local: Greece

Η Δι@ύγεια αποτελεί μια επαναστατική εφαρμογή της Δημόσιας Διοίκησης για τα ελληνικά δεδομένα. Ο πολίτης έχει την δυνατότητα να αποκτήσει πρόσβαση από ένα και μόνο σημείο στο σύνολο των νόμων και των αποφάσεων που εκδίδουν τα κυβερνητικά όργανα, οι φορείς του στενού και του ευρύτερου δημόσιου τομέα και οι Ανεξάρτητες Αρχές.

Όμως, παρά την πολύ καλή προσπάθεια που έχει γίνει, υπάρχουν περιθώρια βελτίωσης και δημιουργίας υπηρεσιών προστιθέμενης αξίας και λειτουργικότητας βασισμένες στην Δι@ύγεια και στο πολύ καλό API Ανοιχτών Δεδομένων που διαθέτει. Μια από αυτές τις εφαρμογές είναι η ΥπερΔιαύγεια.

ΥπερΔιαύγεια

Η ΥπερΔιαύγεια δίνει την δυνατότητα αναζήτησης στο πλήρες κείμενο όλων των εγγράφων που αναρτώνται στην ιστοσελίδα του προγράμματος Δι@ύγεια. Με αυτό τον τρόπο, ο χρήστης μπορεί να πραγματοποιεί καλύτερες αναζητήσεις και να ανακαλύπτει περιεχόμενο που δεν ήταν δυνατό να βρεθεί διαφορετικά καθώς η Δι@ύγεια δεν υποστήριζε αυτήν τη δυνατότητα και περιοριζόταν στην αναζήτηση μόνο στα μεταδεδομένα των εγγράφων. Οι εξελιγμένες λειτουργίες της ΥπερΔιαύγειας περιλαμβάνουν μεταξύ άλλων:

• Ευρετήριο πλήρους κειμένου για το σύνολο των εγγράφων που περιλαμβάνονται στην Δι@ύγεια.
• Οπτική αναγνώριση χαρακτήρων (OCR): Πολλά από τα έγγραφα που δημοσιεύονται στην Διαύγεια είναι PDFs που περιέχουν μόνο εικόνες (π.χ. σκαναρισμένα Fax). Με αυτό τον τρόπο όμως, δεν υπάρχει οποιαδήποτε πληροφορία κειμένου, πράγμα που απαγορεύει την αναζήτηση στη Διαύγεια. Για να λυθεί αυτό το πρόβλημα χρειάστηκε να υλοποιηθεί OCR text extraction χρησιμοποιώντας το πολύ καλό Tesseract OCR open source software, το οποίο ενσωματώθηκε στην ΥπερΔιαύγεια. Για περισσότερες πληροφορίες, δείτε το σχετικό post στο blog της ΥπερΔιαύγειας.
• Προεπισκόπηση εγγράφων για ταχύτερη αναζήτηση. Ο χρήστης δεν χρειάζεται πλέον να κατεβάζει μεγάλα αρχεία PDF που μπορεί τελικά να μην τον ενδιαφέρουν, βλέποντας άμεσα την προεπισκόπηση της πρώτης σελίδας του κάθε εγγράφου, μπορεί να επιλέξει ταχύτερα αυτό που τον ενδιαφέρει. Περισσότερες τεχνικές πληροφορίες στο σχετικό blog post.
• Σύνθετα φίλτρα αναζήτησης: ανά οργανισμό, τύπο απόφασης, υπογράφοντα και χρόνο δημοσίευσης.
• APIs ανοικτής πρόσβασης στην ΥπερΔιαύγεια μέσω των πρωτοκόλλων OpenSearch και OAI-PMH: Ο καθένας μπορεί ελεύθερα να ανακτήσει περιεχόμενο από την ΥπερΔιαύγεια για οποιοδήποτε σκοπό.

Κλείνοντας, πρέπει να πούμε ότι το πρόγραμμα Δι@ύγεια αποτελεί μια πρόκληση για κάθε προγραμματιστή που είναι ενεργός πολίτης. Η απλή παράθεση των δημόσιων δεδομένων στην Δι@ύγεια δεν αποτελεί παρά μόνο την αρχική προϋπόθεση για την εκμετάλλευσή τους με σκοπό την προώθηση της καινοτομίας και τηςδιαφάνειας στο ελληνικό δημόσιο. Υπάρχουν ήδη καλές προσπάθειες όπως η δημιουργία Link Data  http://thedatahub.org/dataset/diavgeia και η οπτικοποίηση των δαπανών http://www.greekspending.com/ αλλά σίγουρα μπορούν να γίνουν πολλά περισσότερα.

Για περισσότερες πληροφορίες σχετικά με την ΥπερΔιαύγεια, δείτε μια σύντομη παρουσίαση στο SlideShare.