You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

35 KiB

In [38]:
import selenium
import time
import datetime
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from bs4 import BeautifulSoup

from IPython.display import display, Image, HTML

from jupyter_progressbar import ProgressBar
import json
In [36]:
driver = webdriver.Chrome()

driver.get('https://www.kickstarter.com/projects/inspero/vinci-20-worlds-first-standalone-ai-sports-headpho/comments')
In [37]:
class get_comments_of_project:
    def __init__(self, driver):
        self.driver = driver
        val = driver.find_element_by_css_selector("[itemprop=Project\[comments_count\]]").get_attribute('data-value')
        self.total_comments = int(val)
    
    def __iter__(self):
        done = set()
        driver.execute_script("$('a.older_comments').click()")
        n_wait = 0
        
        while driver.execute_script("return $('a.older_comments:visible').length") > 0:
            n_wait += 1
            n_comments = driver.execute_script("return $('li.comment').length")
            if n_comments > 0 or n_wait > 5:
                driver.execute_script("$('a.older_comments').click()")
        
                for item in driver.find_elements_by_css_selector('li.comment .avatar.left a'):
                    profile_id = item.get_attribute('href').split('/profile/')[1]
                    driver.execute_script('$("#%s").remove()' % item.find_element_by_xpath('../../..').get_attribute('id'))
                    yield profile_id
                n_wait = 0
            time.sleep(0.5)
    
    def __len__(self):
        return self.total_comments

for profile_id in ProgressBar(get_comments_of_project(driver)):
    print(profile_id)

Failed to display Jupyter Widget of type VBox.

If you're reading this message in the Jupyter Notebook or JupyterLab Notebook, it may mean that the widgets JavaScript is still loading. If this message persists, it likely means that the widgets JavaScript library is either not installed or not enabled. See the Jupyter Widgets Documentation for setup instructions.

If you're reading this message in another frontend (for example, a static rendering on GitHub or NBViewer), it may mean that your frontend doesn't currently support widgets.

1833678544
839015508
458527266
2001994789
1217263212
889917255
395880877
395880877
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
495300557
495300557
205681801
643428
jamesvo66
1864830176
458527266
839015508
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
761485634
1608275255
1232829437
1232829437
688462716
1833678544
498306784
1923877728
1233568244
458527266
794959240
794959240
794959240
794959240
794959240
1561880636
1369960534
1882731028
796017561
611328595
794959240
794959240
794959240
944540369
1635607059
1810929003
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
796017561
1196724163
588920077
237902823
1511452974
nyhotdog
1751366140
1090197121
1479259025
1882731028
1036267918
1196506039
1849808531
1082496859
794959240
794959240
794959240
1668507980
1001248356
1699988054
794959240
794959240
794959240
794959240
794959240
794959240
1369960534
1882731028
796017561
611328595
794959240
794959240
794959240
944540369
1635607059
1810929003
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
796017561
1196724163
588920077
237902823
1511452974
nyhotdog
1751366140
1090197121
1479259025
1882731028
1036267918
1196506039
1849808531
1082496859
794959240
794959240
794959240
1668507980
1001248356
1699988054
794959240
794959240
794959240
794959240
794959240
794959240
518370125
595774491
1001248356
728253404
410446349
1862429352
794959240
794959240
794959240
1383084788
588920077
1383084788
794959240
794959240
794959240
1082496859
1018335009
2043281165
794959240
794959240
794959240
794959240
794959240
1695443028
1695443028
347211813
347211813
984721398
1864830176
794959240
794959240
794959240
794959240
794959240
1402676220
355097478
588920077
1342165126
1337628871
794959240
794959240
794959240
2044662041
9214568
1635607059
794959240
794959240
1997448604
794959240
794959240
794959240
794959240
370126996
1161261191
1699992933
334387016
2098214317
794959240
794959240
794959240
794959240
794959240
794959240
794959240
1018335009
665155733
1864830176
shivasiddharth
shivasiddharth
458322083
azirius
1633004206
794959240
794959240
794959240
794959240
794959240
minari
minari
minari
479933865
shivasiddharth
794959240
794959240
794959240
794959240
665155733
1051575684
1736145611
384930616
794959240
794959240
794959240
794959240
794959240
673029263
796052291
329203707
1208694063
329203707
794959240
794959240
31153046
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
shivasiddharth
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
383123477
383123477
383123477
383123477
383123477
301690636
301690636
301690636
677180350
677180350
677180350
677180350
677180350
677180350
301690636
301690636
301690636
383123477
383123477
383123477
671121685
671121685
671121685
671121685
247626573
shivasiddharth
873037190
796017561
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
344091852
114788583
shivasiddharth
787017813
1018199754
jessslead
1024738362
1494317641
1214658227
1471890730
inspero
jamesvo66
1208694063
1208694063
1957484080
794959240
794959240
794959240
794959240
794959240
1890562474
1208694063
1862429352
1979910459
972291987
794959240
794959240
794959240
794959240
794959240
794959240
794959240
366980299
shivasiddharth
shivasiddharth
1930498551
212692344
1862429352
972291987
794959240
794959240
794959240
794959240
794959240
794959240
794959240
shivasiddharth
shivasiddharth
334387016
728253404
1862429352
95691339
1862429352
1862429352
344091852
653537333
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
796017561
1494317641
518370125
518370125
1979910459
819120336
1979910459
728253404
jaiaravindj
794959240
794959240
276311303
794959240
794959240
794959240
1018335009
794959240
794959240
794959240
459875215
1614890600
518370125
1051575684
690276919
796017561
1077783542
794959240
794959240
794959240
75341017
75341017
796017561
1617342515
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
1337628871
878996580
518370125
1488592791
1000694536
639982179
1979910459
1635607059
2112136110
794959240
794959240
794959240
794959240
794959240
1184017324
1184017324
felixkim
2145345421
1233568244
1012380866
770423085
794959240
92748688
794959240
794959240
794959240
2044177248
907670727
1422458250
794959240
794959240
75341017
728253404
794959240
794959240
794959240
794959240
794959240
794959240
1494317641
1979910459
2011132359
2043908614
344091852
16380284
794959240
794959240
794959240
794959240
794959240
794959240
794959240
1494317641
jjl
643428
643428
971896604
344091852
1051575684
1614890600
794959240
794959240
794959240
643428
1614890600
794959240
794959240
794959240
794959240
794959240
794959240
1024738362
643428
1635607059
1729640748
728253404
728253404
1979910459
907670727
794959240
794959240
794959240
794959240
95691339
2043908614
2043908614
1942686605
794959240
inspero
271031935
1742579183
794959240
794959240
794959240
794959240
794959240
794959240
794959240
1882731028
301690636
383123477
383123477
383123477
383123477
677180350
677180350
671121685
671121685
671121685
334387016
philcassell
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
1024738362
796017561
1284830330
794959240
728253404
794959240
794959240
794959240
344091852
794959240
794959240
794959240
794959240
464629808
671121685
796017561
95691339
677180350
383123477
653537333
722648632
728253404
344091852
1635607059
301690636
301690636
728253404
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
1024738362
794959240
cassadee
1979910459
677180350
677180350
677180350
383123477
383123477
383123477
383123477
383123477
671121685
671121685
671121685
250887333
728253404
250887333
728253404
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
344091852
677180350
677180350
677180350
2044177248
301690636
301690636
677180350
677180350
677180350
383123477
383123477
383123477
383123477
671121685
671121685
671121685
794959240
794959240
671121685
671121685
794959240
671121685
794959240
794959240
794959240
873037190
794959240
794959240
794959240
794959240
794959240
794959240
301690636
301690636
250887333
794959240
794959240
383123477
383123477
794959240
383123477
250887333
250887333
250887333
250887333
1289035088
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
873037190
301690636
383123477
383123477
671121685
671121685
677180350
677180350
677180350
301690636
301690636
301690636
301690636
383123477
383123477
671121685
671121685
1289035088
671121685
1289035088
464629808
873037190
1979910459
794959240
794959240
794959240
794959240
794959240
vegasved
1024738362
341983418
1430176509
344091852
794959240
794959240
464629808
464629808
1882731028
794959240
794959240
794959240
794959240
794959240
794959240
794959240
384930616
794959240
794959240
794959240
794959240
794959240
464629808
464629808
794959240
464629808
794959240
677180350
677180350
794959240
677180350
301690636
301690636
794959240
383123477
383123477
383123477
671121685
671121685
794959240
794959240
794959240
2044177248
inspero
728253404
1430176509
1430176509
1430176509
2043281165
1289035088
1430176509
1430176509
344091852
344091852
794959240
1472374881
1472374881
794959240
794959240
794959240
794959240
344091852
1289035088
659523922
158797475
inspero
1882731028
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
794959240
1024738362
1119502946
344091852
1030938781
1936314241
2011132359
344091852
unicornwerewolf
1289035088
794959240
794959240
645845854
794959240
794959240
794959240
794959240
794959240
794959240
794959240
1641264279
2011132359
2011132359
2011132359
653537333
653537333
231563443
231563443
794959240
1024738362
794959240
shivasiddharth
794959240
794959240
160648997
2011132359
794959240
shivasiddharth
794959240
1255315769
794959240
971896604
794959240
971896604
794959240
794959240
796017561
1255315769
794959240
794959240
1942686605
2011132359
2011132359
2011132359
794959240
794959240
18825015
sparkxster
794959240
vegasved
794959240
344091852
794959240
794959240
794959240
794959240
344091852
1979910459
636861889
344091852
794959240
1979910459
794959240
344091852
794959240
inspero
648827505
344091852
794959240
1641264279
794959240
794959240
794959240
636861889
1641264279
2044177248
794959240
794959240
1030938781
1742579183
572566317
inspero
2009017451
794959240
794959240
1640795193
244674104
794959240
794959240
794959240
794959240
2108752044
572566317
796017561
1742579183
794959240
794959240
344091852
1024738362
794959240
794959240
315925251
648827505
794959240
794959240
315925251
cassadee
inspero
cassadee
inspero
1979910459
794959240
794959240
794959240
794959240
794959240
794959240
143183704
1979910459
1255315769
1289035088
794959240
794959240
794959240
360443789
mssnglnk
796017561
1255315769
794959240
794959240
1063541354
1328029828
794959240
1328029828
794959240
794959240
794959240
143183704
347211813
2043281165
794959240
794959240
95691339
794959240
794959240
794959240
794959240
794959240
265819191
stelboe
1471890730
1024738362
143183704
29968412
794959240
1472374881
794959240
794959240
794959240
794959240
794959240
1255315769
cassadee
388904050
1289035088
inspero
inspero
648827505
felixkim
1471890730
1471890730
143183704
794959240
143183704
inspero
212692344
sparkxster
794959240
794959240
794959240
794959240
794959240
525089662
102902226
cassadee
143183704
794959240
794959240
794959240
794959240
1024738362
1687709187
830001776
830001776
830001776
794959240
1890562474
794959240
794959240
1890562474
794959240
794959240
794959240
1677728595
1024738362
648827505
1328658675
1298879274
1289035088
794959240
794959240
inspero
572566317
1024738362
inspero
794959240
1024738362
794959240
794959240
794959240
794959240
1289035088
648827505
648827505
shivasiddharth
572566317
794959240
794959240
794959240
cassadee
shivasiddharth
inspero
1472374881
1472374881
525089662
794959240
1942686605
inspero
1472374881
inspero
237902823
212692344
1289035088
1472374881
inspero
1472374881
1149889731
shivasiddharth
1024738362
1289035088
794959240
794959240
794959240
794959240
794959240
1957484080
1957484080
878996580
1024738362
shivasiddharth
1202235094
1332825064
shivasiddharth
794959240
794959240
shivasiddharth
794959240
794959240
794959240
794959240
794959240
794959240
794959240
inspero
1298879274
1184017324
cassadee
inspero
inspero
cassadee
796017561
inspero
sparkxster
shivasiddharth
1024738362
shivasiddharth
1880305534
shivasiddharth
1530123874
1101737592
525089662
inspero
shivasiddharth
1880305534
794959240
794959240
794959240
794959240
794959240
794959240
143183704
unicornwerewolf
unicornwerewolf
1472374881
philcassell
979724834
794959240
felixkim
794959240
794959240
felixkim
18825015
inspero
1472374881
philcassell
inspero
1472374881
794959240
794959240
shivasiddharth
shivasiddharth
shivasiddharth
felixkim
794959240
250887333
866391821
1024738362
250887333
1060921719
794959240
1472374881
794959240
1472374881
250887333
2104848058
250887333
983397869
250887333
983397869
250887333
250887333
250887333
2104848058
2104848058
250887333
250887333
250887333
250887333
794959240
794959240
794959240
794959240
794959240
794959240
250887333
524552396
794959240
524552396
794959240
794959240
983397869
983397869
794959240
794959240
794959240
2104848058
794959240
794959240
2104848058
794959240
794959240
794959240
2104848058
794959240
2104848058
983397869
983397869
794959240
794959240
524552396
794959240
524552396
794959240
felixkim
2104848058
333580554
250887333
inspero
1971952145
inspero
755417874
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
250887333
1472374881
250887333
250887333
250887333
250887333
250887333
250887333
1640795193
755417874
1024738362
1472374881
796017561
1277702896
inspero
1890562474
1060921719
250887333
inspero
1192200229
inspero
250887333
248194716
248194716
2030482438
794959240
inspero
542415372
inspero
794959240
955901347
794959240
794959240
794959240
794959240
794959240
794959240
794959240
678644647
1094742639
1971952145
1641855695
924561261
1024738362
1206590166
1206590166
inspero
678989421
inspero
2104848058
inspero
inspero
525089662
333580554
inspero
524552396
inspero
inspero
inspero
inspero
inspero
inspero
inspero
2117733844
1024738362
64313570
inspero
inspero
1024738362
1383695146
inspero
inspero
1060921719
inspero
715684691
159591613
inspero
inspero
1060921719
715684691
1060921719
794959240
inspero
1973698103
794959240
1973698103
794959240
301892085
794959240
1472374881
794959240
inspero
2135661401
794959240
794959240
794959240
likeapunpun
678644647
301892085
794959240
inspero
unicornwerewolf
417197042
inspero
525089662
inspero
inspero
inspero
878996580
878996580
301892085
384930616
inspero
384930616
inspero
1677728595
165654883
1161261191
27254771
shivasiddharth
inspero
255046417
794959240
1255315769
inspero
575839374
inspero
575839374
794959240
794959240
inspero
inspero
794959240
820909221
sparkxster
1144206602
416760475
95691339
inspero
983397869
794959240
575839374
inspero
794959240
333580554
983397869
794959240
416760475
sparkxster
95691339
inspero
794959240
1957484080
inspero
2044177248
794959240
1957484080
794959240
sparkxster
1957484080
inspero
skim620
794959240
1255315769
794959240
1255315769
794959240
1640795193
794959240
inspero
noodle4001
794959240
inspero
794959240
267740704
1640795193
794959240
794959240
inspero
1677728595
inspero
aprildamaso
416760475
inspero
387647469
794959240
273319507
inspero
416760475
794959240
unicornwerewolf
794959240
noodle4001
416760475
794959240
unicornwerewolf
794959240
1255315769
inspero
794959240
794959240
1298879274
nswint
inspero
794959240
1255315769
1472374881
794959240
794959240
themantimeforgot
794959240
794959240
1472374881
471142115
120685372
794959240
471142115
794959240
inspero
794959240
2044177248
1720221761
inspero
996557550
794959240
inspero
141748059
794959240
12141699
794959240
inspero
12141699
794959240
416760475
794959240
695595997
794959240
794959240
iamdefiler
inspero
1472374881
1009147578
inspero
inspero
inspero
1053695170
1354963070
794959240
95691339
inspero
794959240
1472374881
In [ ]:
driver.quit()
Request-sent
In [121]:
print(root + discover_link)
https://www.kickstarter.com//discover/newest?ref=discovery_overlay