OpenRefine - OpenRefine

OpenRefine
OpenRefine Жаңа Logo.png
ӘзірлеушілерFreebase, содан кейін Google, енді ашық бастапқы қоғамдастық
Бастапқы шығарылым10 қараша, 2010 ж; 10 жыл бұрын (2010-11-10)
Тұрақты шығарылым
3.3 / 31 қаңтар 2020 ж; 10 ай бұрын (2020-01-31) [1]
Репозиторий
Мұны Wikidata-да өзгертіңіз
ЖазылғанJava [2]
ПлатформаMicrosoft Windows, Linux, macOS
Қол жетімдіАғылшын, итальян, қытай, жапон, француз
Түрі
ЛицензияBSD лицензиясы
Веб-сайтopenrefine.org

OpenRefine, бұрын аталған Google нақтылау және оған дейін Freebase Gridworks, бұл деректерді тазалауға және басқа форматтарға түрлендіруге арналған ашық бастапқы коды бар жұмыс үстелі қосымшасы деректер таласуы.[3] Бұл ұқсас электрондық кесте қосымшалар (және электрондық кесте файлдарының форматтарымен жұмыс істей алады); дегенмен, ол дерекқорға көбірек ұқсайды.

Ол жұмыс істейді жолдар астында ұяшықтары бар мәліметтер бағандар, бұл өте ұқсас реляциялық мәліметтер базасы кестелер. OpenRefine жобасы бір кестеден тұрады. Пайдаланушы көрсету үшін жолдарды сүзуге болады қырлары сүзу шарттарын анықтайтын (мысалы, берілген баған бос емес жолдарды көрсету). Электрондық кестелерден айырмашылығы, OpenRefine-дегі көптеген операциялар барлық көрінетін жолдарда орындалады: барлық жолдардағы барлық ұяшықтарды бір бағанға айналдыру,[4] бар баған деректері негізінде жаңа баған құру және т.с.с. деректер базасында жасалған барлық әрекеттер жобада сақталады және оларды басқа деректер жиынтығында ойнатуға болады.

Электрондық кестелерден айырмашылығы, ұяшықтарда формулалар сақталмайды, бірақ формулалар мәліметтерді түрлендіру үшін қолданылады, ал түрлендіру бір рет қана жасалады.[5] Трансформациялық өрнектерді жазуға болады Жалпы нақтылау тілі (GREL),[6] Джитон (яғни Python) және Clojure.[7]

Бағдарламада a веб-қолданушы интерфейсі. Алайда, бұл вебте орналастырылмаған (СААС ), бірақ жергілікті машинада жүктеуге және пайдалануға қол жетімді. OpenRefine-ді іске қосқанда, ол а веб-сервер және осы веб-сервер қолдайтын веб интерфейсін ашу үшін браузерді іске қосады.

Бағдарламалық жасақтаманың мүмкін қолданылуы

  • Таза емес деректерді тазартумысалы: егер кейбір жартылай құрылымдалған мәліметтермен мәтіндік файлмен жұмыс істейтін болса, оны түрлендірулер, қырлар және кластерлеу арқылы деректерді таза құрылымдау үшін өңдеуге болады.[8]
  • Мәліметтерді түрлендіру: мәндерді басқа форматтарға түрлендіру, қалыпқа келтіру және қалыпқа келтіру.
  • Веб-сайттардағы деректерді талдау: OpenRefine-де URL алу мүмкіндігі бар және jsoup HTML талдаушысы және DOM қозғалтқышы.[9]
  • Деректер қорына деректерді веб-қызметтерден алу арқылы қосу (яғни оралу) джсон ).[10] Мысалы үшін қолдануға болады геокодтау мекен-жайы географиялық координаттар.[11]
  • Келу Уикидеректер (бұрын Freebase[12]): бұл қамтиды татуласу - ұяшықтардағы жол мәндерін Wikidata-дағы нысандармен салыстыру.[13]

Импорт пен экспорттан қолдау көрсетілетін форматтар

Импорттау келесі форматтардан қолдау табады:[14]

Егер енгізілген мәліметтер стандартты емес мәтіндік форматта болса, оны бағандарға бөлмей, тұтас жолдар түрінде импорттауға болады, содан кейін бағандар OpenRefine құралдарымен шығарылады. Архивтелген және қысылған файлдарға қолдау көрсетіледі (.zip, .tar.gz, .tgz, .tar.bz2, .gz немесе .bz2) және Refine кірістірілген файлдарды жүктей алады. URL мекен-жайы. Веб-беттерді енгізу ретінде пайдалану үшін URL мекенжайларының тізімін импорттауға болады, содан кейін URL алу функциясын шақыруға болады.

Экспорттау келесі форматтарда қолдау көрсетіледі:[16]

Барлық OpenRefine жобаларын жергілікті форматта экспорттауға болады .tar.gz мұрағат.

Тарих

OpenRefine өмірді басталды Freebase Gridworks Metaweb әзірледі және 2010 жылдың қаңтарынан бастап ашық дереккөз ретінде қол жетімді.[17] 2010 жылдың 16 шілдесінде Google сатып алды Метавеб,[18] жасаушылар Freebase және 2010 жылдың 10 қарашасында олардың Freebase Gridworks бағдарламалық жасақтамасын Google Refine деп өзгертті, 2.0 нұсқасын шығарды.[19] 2012 жылдың 2 қазанында түпнұсқа автор Дэвид Хюйн Google жақында Google Refine-ге белсенді қолдауды тоқтататынын мәлімдеді.[20][21][22] Содан бері код базасы OpenRefine атты бастапқы код жобасына көшуде.[23]

Әдебиеттер тізімі

  1. ^ «OpenRefine - бұл ақпараттармен жұмыс істеуге және оны жақсартуға арналған ақысыз, ашық қуат көзі құралы: OpenRefine / OpenRefine». 2019 жылғы 30 шілде - GitHub арқылы.
  2. ^ «OpenRefine / OpenRefine - GitHub». Алынған 25 маусым 2017.
  3. ^ «openrefine.github.com». openrefine.org.
  4. ^ «Түрлендіру арқылы өңдеу: Құжаттардан вики парағын ұяшыққа өңдеу». Алынған 18 сәуір 2012.
  5. ^ «Электрондық кестелік бағдарламалық жасақтамамен салыстыру: Құжаттарды нақтылаудағы ұяшықтарды өңдеу вики парағы». Алынған 18 сәуір 2012.
  6. ^ OpenRefine / OpenRefine Wiki GitHub экспрессия тілінің жалпы нақтылауы. Github.com (2013-04-03). 2013-08-16 аралығында алынды.
  7. ^ «Өрнектер: құжаттаманы нақтылау». Алынған 18 сәуір 2012.
  8. ^ «Скринкаст: Google Refine 2.0 - Кіріспе (3-тен 1) - үкіметтік деректерді редакциялау». Алынған 18 сәуір 2012.
  9. ^ «HTML-ді алу: құжаттаманы нақтылау wiki парағы». Алынған 18 сәуір 2012.
  10. ^ «FetchingURLsFromWebServices вики парағы: Құжаттарды нақтылау». Алынған 18 сәуір 2012.
  11. ^ «Скринкаст: Google Refine 2.0 - деректерді кеңейту (3-тен 3-і) - геокодтау үшін Openstreetmap Nominatim және ұлғайту үшін Freebase қолдану». Алынған 18 сәуір 2012.
  12. ^ «Сызбаны туралау: уики парағындағы құжаттаманы нақтылау». Алынған 18 сәуір 2012.
  13. ^ «OpenRefine құжаттамасы: салыстыру». Алынған 12 наурыз 2017.
  14. ^ «Импорттаушылар: құжаттаманың вики парағын нақтылау». Алынған 18 сәуір 2012.
  15. ^ «Changelog 2.5 үшін». Алынған 18 сәуір 2012.
  16. ^ «Экспорттау: wiki парағындағы құжаттаманы нақтылау». Алынған 18 сәуір 2012.
  17. ^ «Google Code Archive - Google Code Project Hosting үшін ұзақ мерзімді сақтау орны». code.google.com.
  18. ^ «Google ресми блогы: Metaweb-пен тереңірек түсіністік». Алынған 18 сәуір 2012.
  19. ^ «Google Opensource блогы: Google Refine 2.0-ті жариялау, деректерді жинауға арналған құрал». Алынған 18 сәуір 2012.
  20. ^ «Google Groups». groups.google.com.
  21. ^ «Freebase Gridworks-тен Google Refine-ге және қазір OpenRefine-ге».
  22. ^ OpenRefine Мұрағатталды 2016-09-25 сағ Wayback Machine. OpenRefine. 2013-08-16 аралығында алынды.
  23. ^ google-refine - Google Refine, лас мәліметтермен жұмыс істеуге арналған электр құралы (бұрынғы Freebase Gridworks) - Google Project Hosting. Code.google.com. 2013-08-16 аралығында алынды.

Сыртқы сілтемелер