Краудсорсингтің бағдарламалық жасақтамасын әзірлеу - Crowdsourcing software development

Краудсорсингтің бағдарламалық жасақтамасын әзірлеу немесе бағдарламалық краудсорсинг болып табылатын аймақ болып табылады бағдарламалық жасақтама. Бұл кез келген тапсырмаға қатысуға ашық шақыру бағдарламалық жасақтама жасау, оның ішінде құжаттама, жобалау, кодтау және тестілеу. Бұл тапсырмаларды әдетте бағдарламалық жасақтама кәсіпорнының мүшелері немесе кәсіпорынмен келісімшартқа отырған адамдар жүргізеді. Бірақ бағдарламалық жасақтамада краудсорсинг, барлық міндеттерді көпшілік қауым өкілдеріне беруге немесе шешуге болады. Краудсорсингке жеке адамдар мен командалар қатыса алады жарыстар.[1]

Мақсаттар

Бағдарламалық жасақтама краудсорсингінің бірнеше мақсаты болуы мүмкін.[2][3]

Сапалы бағдарламалық жасақтама: Краудсорсингті ұйымдастырушылар бағдарламалық жасақтама сапасының нақты мақсаттарын және оларды бағалау критерийлерін анықтауы керек. Сапалы бағдарламалық қамтамасыз ету көбінесе қатаң бағалау үшін жақсы шешімдер ұсына алатын құзыретті сайыскерлерден шығады.

Жылдам сатып алу: Краудсорсингті ұйымдастырушылар бағдарламалық жасақтаманың дамуын күтудің орнына, ұқсас немесе ұқсас нәрсе жасалған деп үміттеніп, байқау жариялауы мүмкін. Бұл бағдарламалық жасақтаманы сатып алу уақытын қысқарту үшін.

Дарындылықты анықтау: Краудсорсингті ұйымдастырушы негізінен таланттарды байқауға қызығушылық танытуы мүмкін, бұл олардың сайыстағы нәтижелерінен көрінеді.

Шығындарды төмендету: Краудсорсингті ұйымдастырушы даму бағасының аз бөлігін төлеу арқылы бағдарламалық қамтамасыздандыруды аз шығындармен сатып ала алады, өйткені марапатқа баға тану марапаттарын қосуы мүмкін.

Шешімнің әртүрлілігі: Командалар бір мәселені шешудің әртүрлі тәсілдерін ұсынатындықтан, бұл шешімдердегі әртүрлілік ақаулыққа төзімді есептеу үшін пайдалы болады.

Идеяларды құру: Бір мақсат - сайыскерлерден жаңа идеялар алу және бұл идеялар жаңа бағыттарға жетелеуі мүмкін.

Қатысуды кеңейту: Бір мақсат - ең жақсы шешімді алу немесе тиісті білімді тарату үшін мүмкіндігінше көп қатысушыларды жинау.

Қатысушыларды тәрбиелеу: Ұйымдастырушылар қатысушыларға жаңа білім беруге мүдделі. Бір мысал - демеушілік ететін nonamesite.com ДАРПА STEM оқыту Ғылым, технология, инженерия және математика.

Қаржыны пайдалану: Мақсат - басқа ұйымдарды қаражат тарту үшін осындай жобаларға демеушілік жасауды ынталандыру.

Маркетинг: Краудсорсинг жобаларын қатысушылар арасында брендті тану үшін пайдалануға болады.

Экожүйе

Сәулетті қолдау

Краудсорсингті қолдау жүйесіне 1) бағдарламалық жасақтама құралдары: қажеттілік құралдары, жобалау құралдары, кодтау құралдары, компиляторлар, түзетушілер, IDE, өнімділікті талдау құралдары, тестілеу құралдары және техникалық қызмет көрсету құралдары кіруі керек. 2) Жобаны басқару құралдары: рейтинг, бедел және өнімдер мен қатысушыларға сыйлық беру жүйелері. 3) әлеуметтік желі құралдары: қатысушылардың бір-бірімен сөйлесуіне және қолдауына мүмкіндік береді. 4) Бірлескен жұмыс құралдары: мысалы, қатысушылар жалпы аймақты көре алатын және ортақ кеңесте ұсынылған шешімдерді жақсарту үшін идеялар ұсына алатын тақта платформасы.

Әлеуметтік желілер

Әлеуметтік желілер байланыс, құжаттама, блогтар, твиттерлер, вики, пікірлер, кері байланыс және индекстеуді қамтамасыз ете алады.

Ұйымдастыру

Процестер

Бағдарламалық жасақтаманы әзірлеудің кез-келген кезеңін краудсорсингке тартуға болады және ол фаза (функционалдық, қолданушы интерфейсі, өнімділік), дизайн (алгоритм, архитектура), кодтау (модульдер мен компоненттер), тестілеу (қауіпсіздік тестілеуін, қолданушы интерфейсін тестілеуді, пайдаланушының тәжірибесін қоса) талаптары болуы мүмкін. тестілеу), техникалық қызмет көрсету, пайдаланушының тәжірибесі немесе олардың кез-келген тіркесімі.[4]

Бағдарламалық жасақтаманы дамытудың қолданыстағы процедураларын краудсорсингке қосу үшін өзгертуге болады: 1) Сарқыраманың моделі; 2) икемді процестер; 3) модельге негізделген тәсіл; 4) Ашық көзді тәсіл; 5) Сервистік компоненттерді жариялауға, табуға, құруға, теңшеуге, имитациялауға және тексеруге болатын қызмет ретінде бағдарламалық қамтамасыз ету (SaaS) тәсілі; 6) формальды әдістер: формальды әдістер краудсорсингке тартылуы мүмкін.

Краудсорсинг бәсекелі немесе бәсекесіз болуы мүмкін. Бәсекелі краудсорсингте тек таңдалған қатысушылар ғана жеңіске жетеді, ал өте бәсекеге қабілетті жобаларда көптеген қатысушылар қатысады, бірақ аз адамдар жеңеді. Конкурстық емес тәсілмен не жалғыз адамдар краудсорсингке қатысады, не бірнеше адам бағдарламалық жасақтама жасау үшін ынтымақтаса алады. Өнімдердің сәйкестігі мен сапасын қамтамасыз ету үшін және таланттарды анықтау үшін өндірілген өнімдерді кроссинг арқылы бағалауға болады, ал кроссингті краудсорсинг арқылы бағалауға болады.

Краудсорсингпен жасалған элементтер өндірілген жұмысты анықтау үшін краудсорсинг арқылы бағалануы мүмкін, ал бағалауды бағалау краудсорсинг арқылы бағалау сапасын анықтауға болады.

Краудсорсингтің маңызды процестеріне AppStori және кіреді Topcoder процестер.

Қатысушыларды алдын-ала іріктеу сапалы краудсорсинг бағдарламалық жасақтамасы үшін маңызды. Бәсекелі краудсорсингте төмен дәрежелі қатысушы жоғары дәрежелі қатысушымен бәсекеге түспеуі керек.

Платформалар

Бағдарламалық краудсорсинг платформалары, соның ішінде Apple Inc. Келіңіздер App Store, Topcoder, және uTest бағдарламалық қамтамасыз ету экожүйесін кеңейту және өнім сапасын жақсарту тұрғысынан краудсорсингтің артықшылығын көрсету. Apple's App Store - бұл желіде iOS әзірлеушілер өздерінің шығармашылық дизайндары мен өнімдерін смартфон клиенттеріне тікелей жеткізе алатын қосымшалар нарығы. Бұл әзірлеушілер беделге де, App Store дүкенінің микро төлем механизмі арқылы төлеуге де инновациялық дизайн жасауға үлес қосады. Төрт жылдан аз уақыт ішінде Apple-дің App Store дүкені 150,000 белсенді баспагерлері бар мобильді қосымшалардың экожүйесіне айналды және 700,000 IOS қосымшаларын жасады. App Store-да интубаторларға арналған смартфонды қосымшаларға арналған көптеген бірлескен платформалар бар. Мысалы, AppStori жаңа iPhone қосымшалары туралы перспективалық идеяларды дамыту үшін онлайн қауымдастықты құру үшін қаржыландыру тәсілін ұсынады. IdeaScale - бағдарламалық краудсорсингке арналған тағы бір платформа.[5]

Краудсорсингтің тағы бір мысалы -Topcoder - бағдарламалық тапсырмалар конкурс ретінде орналастырылатын бағдарламалық жасақтама сайысының моделін жасайды және ең жақсы шешімді жасаушы жоғарғы жүлдені алады. Осы модельден кейін Topcoder өзінің экожүйесін қолдау үшін онлайн-платформа құрды және 1 миллионнан астам тіркелген мүшелері мен 50 000-ға жуық белсенді қатысушылары бар виртуалды жаһандық жұмыс күшін жинады. Topcoder-дің барлық мүшелері бір-бірімен қажеттіліктерді талдау, алгоритмдерді жобалау, кодтау және тестілеу сияқты бағдарламалық жасақтама тапсырмаларында бәсекелеседі.

Үлгілі процестер

The Topcoder Бағдарламалық жасақтаманы әзірлеу процесі әр түрлі фазалардан тұрады және әр фазада әр түрлі бәсекелестік түрлері болуы мүмкін:[дәйексөз қажет ]

  1. Сәулет өнері;
  2. Компонент өндірісі;
  3. Өтінімді жинау;
  1. Орналастыру
Topcoder жарыс түрлері мен кезеңдері

Әр қадам краудсорсинг жарысы бола алады.

BugFinders тестілеу процесі:[6]

  1. BugFinders-пен айналысыңыз;
  2. Жобаларды анықтау;
  3. BugFinders басқарады;
  4. Қателерді қарап шығу;
  5. Қателерді түзетіңіз; және
  6. Бағдарламалық жасақтаманы шығарыңыз.

Теориялық мәселелер

Ойын теориясы краудсорсингтің әртүрлі бағдарламалық жасақтамаларын талдауда қолданылған.[2]

Ақпараттық теория көрсеткіштер үшін негіз бола алады.

Экономикалық модельдер краудсорсинг жұмыстарына қатысу үшін ынталандыруды ұсына алады.

Анықтамалық архитектура

Краудсорсингтік бағдарламалық жасақтама әр түрлі технологиялық модельдер, әдістер мен құралдарды қолдана отырып, бағдарламалық жасақтаманың әр түрлі әдіснамаларына сүйене алады. Онда тендерлік тапсырмалар, сарапшыларды бөлу, сапаны бағалау және бағдарламалық қамтамасыз етуді біріктіру сияқты ерекше қызмет түрлерін қамтитын нақты краудсорсинг процестері бар.[дәйексөз қажет ] Аутсорсинг процесін қолдау және қоғамдастықтың ынтымақтастығын жеңілдету үшін, әдетте, қажетті ресурстар мен қызметтерді ұсынатын платформа құрылады. Мысалға, Topcoder бәсекелестік ережелері енгізілген дәстүрлі бағдарламалық жасақтаманы әзірлеу процесін қадағалайды және AppStori икемді процестерге мүмкіндік береді және көптеген адамдар бағдарламалық жасақтаманың қаржыландыру, жобалық тұжырымдамалар, дизайн, кодтау, тестілеу, бағалау сияқты барлық аспектілеріне қатыса алады.

The анықтамалық сәулет демек, үздік тәжірибелер мен зерттеулердің жетістіктерін біріздендіру арқылы бағдарламалық жасақтама жасау үшін қолшатыр қызметі мен құрылымын анықтайды. Жалпы анықтамалық архитектура келесі қажеттіліктерді шешеді:[дәйексөз қажет ]

  1. Әдеттегі технологиялық модельдерді қолдау үшін теңшелетін;
  2. Әр түрлі функционалды компоненттер құруға конфигурацияланған;
  3. Әр түрлі көлемдегі мәселелерді шешуді жеңілдету үшін ауқымды.

Атап айтқанда, краудсорсинг виртуалдандырылған, орталықтандырылмаған түрде үлкен және күрделі бағдарламалық жасақтаманы жасау үшін қолданылады. Бұлтты есептеу - нақты уақыттағы байланыс желісі (әдетте Интернет) арқылы қосылған көптеген компьютерлерді қамтитын әр түрлі есептеу тұжырымдамаларын сипаттау үшін қолданылатын ауызекі сөйлем. Краудсорсинг қосымшаларын бұлтқа жылжытқан кезде көптеген артықшылықтарды табуға болады: бұл процесті қолдайтын инфрақұрылымға емес, жобаны дамытуға назар аудару, географиялық бөлінген топтар арасындағы ынтымақтастықты нығайту, ресурстарды жобалардың көлеміне дейін кеңейту, виртуалдандырылған режимде жұмыс істеу, таратылған және ынтымақтастық орта.

Бағдарламалық жасақтама краудсорсингінің анықтамалық архитектурасы

Бағдарламалық краудсорсинг жүйесіне қойылатын талаптар үнемі дамып келеді, өйткені жаңа даму философиялары мен технологиялары қолдауға ие болады. Жоғарыда келтірілген анықтамалық архитектура көптеген өлшемдер бойынша жалпылықты қамтуға арналған, мысалы, бағдарламалық жасақтаманы әзірлеудің түрлі әдістемелері, ынталандыру схемалары және бәсекеге қабілетті / ынтымақтастық тәсілдері. Мәліметтерді талдау, сервистік қызмет көрсету және құрылымды жалпылау сияқты архитектураны жақсарту үшін зерттеуге болатын бірнеше нақты зерттеу бағыттары бар. Жүйелер платформаны пайдалануды түсінудің өсуіне байланысты маңызды болып табылады, пайдаланушыларға, жобаларға және екі арасындағы өзара әрекеттесуге қатысты деректерді өнімділікті зерттеу үшін зерттеуге болады. Бұл деректер тапсырмаларды әзірлеу немесе қатысушыларды таңдау кезінде пайдалы түсініктер бере алады. Архитектурада жасалған көптеген компоненттер жалпы мақсатқа арналған және орналастырылған қызметтер ретінде ұсынылуы мүмкін. Осы қызметтерді орналастыру арқылы кірудегі кедергілер айтарлықтай азаяды. Сонымен, осы архитектураны орналастыру арқылы әртүрлі бағдарламалық жасақтама краудсорсинг жобалары үшін немесе басқа краудсорсинг қосымшалары үшін кеңірек қолданыла алатын негіздеме алуға мүмкіндік бар. Осындай құрылымдарды құру басқа домендерде трансформациялық әсер етті, мысалы, BOINC-ті ерікті есептеуде басым қолдану.

Аспектілері мен көрсеткіштері

Жалпы краудсорсинг - көпқырлы зерттеу тақырыбы. Бағдарламалық жасақтамада краудсорсингті қолдану бірқатар шиеленісу нүктелерімен немесе аспектілерімен байланысты, оларды қарастырған жөн (төмендегі суретті қараңыз). Сонымен бірге зерттеулерді краудсорсингтің негізгі үш қатысушысы: тапсырыс беруші, жұмысшы және платформа тұрғысынан жүргізуге болады.[7]

Краудсорсингтің бағдарламалық жасақтамасын әзірлеудің ғылыми негіздері

Тапсырманы ыдырату:

Үйлестіру және байланыс:

Жоспарлау және жоспарлау:

Сапа кепілдігі: Бағдарламалық жасақтама краудсорсингін ойын процесінде сипаттауға болады, мұнда бір тарап объективті функцияны барынша азайтуға тырысады, ал екінші тарап сол мақсатты функцияны максималды түрде арттыруға тырысады, өйткені екі жақ та ойында бір-бірімен бәсекелеседі. Мысалы, а сипаттама команда кодты әзірлеу үшін кодтау тобы үшін сапа сипаттамаларын шығаруы керек; спецификация тобы минималды болады бағдарламалық жасақтама қателері сипаттамада, ал кодтау тобы кодтау алдында спецификациядағы мүмкіндігінше көп қателерді анықтайды.

Min-max процесі маңызды, себебі бұл сапаны қамтамасыз ету механизмі болып табылады және көбінесе команда екеуін де орындауы керек. Мысалы, кодтау тобы спецификациядағы қателерді барынша анықтауы керек, сонымен бірге ол шығаратын кодтағы қателер санын азайтуы керек.

Қателік қатысушылар келесі бағытты ұстанатындығын көрсетті тұтқындардың дилеммасы қауіпсіздікті тексеруге арналған қателерді анықтау.[8]

Білім және зияткерлік меншік:

Мотивация және сыйақы:

Деңгейлер

Краудсорсингтің келесі деңгейлері бар:[дәйексөз қажет ]

1 деңгей: жалғыз адамдар, нақты анықталған модульдер, шағын көлем, шектеулі уақыт (2 айдан аз), сапалы өнімдер, қазіргі заманғы даму процестері Topcoder және uTest. Бұл деңгейде кодерлер рейтингке ие, веб-сайттарда краудсорсингтің онлайн репозиторий материалдары бар, бағдарламалық жасақтаманы қатысушылар рейтингтей алады, вики, блогтар, комментарийлер, IDE, тестілеу, компиляторлар, модельдеу, модельдеу сияқты бағдарламалық жасақтама құралдары сияқты байланыс құралдары болады. талдау.

2 деңгей: адамдар тобы (<10), анықталған жүйелер, орташа үлкен, орташа уақыт (3-тен 4 айға дейін), тақтаның архитектурасында интеллектуалды кері байланысы бар адаптивті даму процестері. Бұл деңгейде краудсорсингтің веб-сайты бейімделу процесін және тіпті тақта архитектурасымен интеллектуалды кері байланысқа ие даму процестерін қолдай алады; кодерлерді, бағдарламалық өнімдерді және түсініктемелерді интеллектуалды талдау; көп фазалы бағдарламалық жасақтаманы тексеру және бағалау; SaaS (Software-as-a-Service) ішіне бағдарламалық жасақтама бағдарламалық қамтамасыздандырудың Big Data аналитикасы онтология, DBpedia және Wikipedia-ға сілтеме; бағдарламалық қамтамасыз ету қызметтерін автоматтандырылған талдау және жіктеу; онтологиялық аннотация мен дәлелдеу, мысалы, осы қызметті үйлесімді кіріс / шығыспен байланыстыру.

3 деңгей: адамдар тобы (<100 және> 10), анықталған жүйе, үлкен жүйелер, ұзақ уақыт (<2 жыл), автоматтандырылған кросс-верификация және жарналар арасында өзара салыстыру. Осы деңгейдегі краудсорсинг веб-сайтында қолданыстағы компоненттерге қойылатын талаптардың автоматтандырылған сәйкестігі, оның ішінде спецификациялар, қызметтер мен тестілердің сәйкестігі болуы мүмкін; автоматтандырылған регрессиялық тестілеу.

4 деңгей: үлкен және адаптивті жүйелердің көпұлтты ынтымақтастығы. Осы деңгейдегі краудсорсинг веб-сайтында онтология, пайымдау және аннотациямен доменге бағытталған краудсорсинг болуы мүмкін; автоматтандырылған кросс-верификация және сынақ буыны процестер; краудсорсинг платформасының автоматтандырылған конфигурациясы; және платформаны SaaS ретінде жалға алушының бейімдеуімен қайта құрылымдауы мүмкін.

Маңызды оқиғалар

Microsoft краудсорсинг Windows 8 даму. 2011 жылы Майкрософт блогтар құрушылар мен көпшілік арасында пікірталас тудыру үшін бастады.[9] 2013 жылы Microsoft Windows 8 үшін мобильді құрылғыларын краудсорсингке қоса бастады.[10] 2013 жылдың маусым айында Microsoft сонымен қатар краудсорсинг бағдарламалық қамтамасыздандыруды тестілеу туралы жариялады, ол қауіпсіздік қателерін анықтау үшін инновациялық әдістерге 100 мың доллар, ал анықталған мәселені шешу үшін 50 мың доллар ұсынды.[11]

2011 жылы Америка Құрама Штаттарының патенттік және сауда маркалары жөніндегі басқармасы аясында краудсорсингке шақыру жіберу Америка БӘСЕКЕЛЕРІ туралы заң үстінде Topcoder сыйақы қоры 50 000 АҚШ долларын құрайтын патенттік құжаттардағы суреттер мен бөлшектердің белгілерін тану үшін суреттерді өңдеу алгоритмдерін және бағдарламалық жасақтаманы әзірлеуге арналған платформа.[12] Конкурс нәтижесінде 70 команда ұжымдық түрде 1797 код ұсынды. Конкурс жеңімпазының шешімі фигуралық аймақтар мен бөлшектердің белгілерін тану үшін еске түсіру және дәлдік тұрғысынан жоғары дәлдікке қол жеткізді.[13]

Oracle CRM жобаларында краудсорсингті қолданады.[14]

Конференциялар мен семинарлар

Краудсорсинг бойынша бағдарламалық қамтамасыз ету семинары өтті Дагстюль, Германия 2013 жылдың қыркүйегінде.[15]

Сондай-ақ қараңыз

Әдебиеттер тізімі

  1. ^ Ридл, Кристоф; Вулли, Анита (желтоқсан 2016). «Командалар мен тобырға қарсы: топтарға негізделген мәселелерді шешу кезінде ынталандырудың салыстырмалы үлесін, мүше қабілеттілігін және ынтымақтастықты тексеру». Басқару жаңалықтары академиясы. (4) баспасөзде: 382-403. дои:10.5465 / amd.2015.0097.
  2. ^ а б Ву, Вэнцзюнь; В.Т.Цай; Вэй Ли (2013). «Бағдарламалық қамтамасыздандыруды краудсорсингтің бағалау жүйесі». Информатика ғылымдарының шекаралары. 7 (5): 694–709. дои:10.1007 / s11704-013-2320-2.
  3. ^ Стол, Клас-Ян; Фицджералд, Брайан (2014). «Екі компания», «үш адам»: краудсорсингтің бағдарламалық жасақтамасын жасау туралы зерттеу. Бағдарламалық жасақтама бойынша 36-шы Халықаралық конференция. ACM. 187–198 бб. дои:10.1145/2568225.2568249.
  4. ^ Ву, Вэнцзюнь; В.Т.Цай; Вэй Ли (2013). «Шығармашылық бағдарламалық қамтамасыздандыруды краудсорсинг». Халықаралық шығармашылық есептеу журналы. 1: 57. дои:10.1504 / IJCRC.2013.05.0525.
  5. ^ «Краудсорсинг бағдарламасы мықты идеяларды жинайды». IdeaScale. Алынған 2016-03-19.
  6. ^ Қате анықтаушылар. «Нақты әлемдегі бағдарламалық жасақтаманы тестілеу». Алынған 21 маусым, 2013.
  7. ^ Стол, К. Дж .; Фицджералд, Б. (2014). «Краудсорсингтік бағдарламалық жасақтаманы зерттеу: перспективалары мен мәселелері». Көпшілікке арналған 1-ші Халықаралық семинар материалдары Көздер Бағдарламалық жасақтамада - CSI-SE 2014. б. 7. дои:10.1145/2593728.2593731. hdl:10344/3853. ISBN  9781450328579.
  8. ^ «Краудсорсинг және тұтқынның дилеммасы - үнемі кеңес беру». Dellingadvisory.com. Алынған 2016-03-19.
  9. ^ Томас, Стюарт (2011 жылғы 16 тамыз). «Microsoft Windows 8 үшін краудсорсинг блогын ашты». Memeburn. Алынған 21 маусым, 2013.
  10. ^ Симпсон, Скотт (10.06.2013). «СІЗДІҢ КЕЛЕСІ WINDOWS 8 ҚҰРЫЛҒЫҢЫЗҒА КРАВДСОРС?». Алынған 21 маусым, 2013.
  11. ^ Белл, Ли (2013 жылғы 20 маусым). «Microsoft Windows 8.1-ді бұзғаны үшін $ 100,000 қателіктерін ұсынады». Алынған 20 маусым, 2013.
  12. ^ Штефен, Робинн Штурм (16 желтоқсан 2011). «Патенттік сараптама құралдарын модернизациялауға көмектесетін жанармайдың жанар-жағар майының жаңа орталығы». Ақ үй блогы. Алынған 30 наурыз 2016.[тұрақты өлі сілтеме ]
  13. ^ Ридль, С .; Занибби, Р .; Херст, М. А .; Чжу, С .; Меньетти, М .; Крусан Дж .; Метельский, И .; Лахани, К. (20 ақпан 2016). «Патенттердегі суреттер мен бөлшектердің белгілерін анықтау: суреттерді өңдеу алгоритмдерін конкурстық негізде әзірлеу». Халықаралық құжаттарды талдау және тану журналы. 19 (2): 155–172. arXiv:1410.6751. дои:10.1007 / s10032-016-0260-8.
  14. ^ Диана, Элисон (16 наурыз, 2011). «Oracle краудсорсингті CRM-ге біріктіреді». Ақпараттық апта. Алынған 21 маусым, 2013.
  15. ^ Ханс, Майкл Н .; Ли, Вэй; Цай, Вэй-Тек (2013). «Schloss Dagstuhl: Семинардың басты беті». Dagstuhl.de. дои:10.4230 / DagRep.3.9.34. Алынған 2016-03-19. Журналға сілтеме жасау қажет | журнал = (Көмектесіңдер)

Сыртқы сілтемелер

Әрі қарай оқу

  • Карим Р. Лахани, Дэвид А. Гарвин, Эрик Логштейн, «TopCoder: Краудсорсинг арқылы бағдарламалық жасақтама жасау», Гарвард бизнес мектебінің ісі 610-032, 2010 ж.